【生意多】-免费发布分类信息
当前位置: 首页 » 新闻 » 科技 » 正文

PingCAP 开源分布式数据库 TiDB 论文入选 VLDB

放大字体  缩小字体 发布日期:2020-09-05 07:59:27    浏览次数:4
导读

  在本篇论文中,PingCAP 重点介绍了其研发的 TiDB 作为一款定位于在线事务处理和在线实时分析(HTAP)混合负载融合型分布式数据库产品的系统架构和核心特性。TiDB 受 Google 发布的 Spanner / F1 论文 ,以及 2014 年 Stanford 工业级分布式一致性协议算法 Raft 论文的启发。经过 5 年多的产品研发、生产环境上线验证,取

  在本篇论文中,PingCAP 重点介绍了其研发的 TiDB 作为一款定位于在线事务处理和在线实时分析(HTAP)混合负载融合型分布式数据库产品的系统架构和核心特性。TiDB 受 Google 发布的 Spanner / F1 论文 ,以及 2014 年 Stanford 工业级分布式一致性协议算法 Raft 论文的启发。经过 5 年多的产品研发、生产环境上线验证,取得了一系列成果,此次被 VLDB 2020 收录也是对学术界的反哺。

  HTAP(Hybrid Transactional / Analytical Processing) 是近些年为数据库界所关注的研究方向。HTAP 数据库需要能够同时兼具处理交易以及分析两种作业的能力,这使得交易数据能够被实时分析,大大缩短决策的周期,同时大幅简化平台架构。

  但是 HTAP 能力并不容易构建:交易业务需要行存,分析业务仰赖列存,且列存往往难于实时更新。以往的分析平台往往需要将数据从行存的交易库向列存的分析库进行数据迁移,这使得我们的数据分析往往基于历史数据。现今越来越多的用户不再满足于基于对历史数据进行分析,而是希望能用更新鲜的数据支持决策。例如生鲜零售业,基于更新鲜的数据进行物流调度可以大大减少货损。

  技术上来说,Real-time HTAP 并不容易实现。首先,数据库需要同时具备行存和列存两种能力;并且列存需要能实时反映行存的变更;最后,两种业务需要能互相之间无干扰运行。

  TiDB 最新版本中引入了专为 Real-time HTAP 场景设计的以 Raft 为基础的行列混合体系。本论文也是以这个架构为主轴来阐述其独特之处。

  可实时更新的列存。与传统的列存不同,TiDB 实现了一套可实时根据主键更新的列存引擎,并使用了与 TiKV 的 LSM 不同的 DeltaTree 设计,避免了范围读取下 LSM 多路归并负担过重的问题。

  通过以 Raft Learner 角色加入 Multi-Raft 副本体系,以异步的方式进行从行到列的数据复制,以求尽最小化对在线交易业务的影响。同时,虽然是异步复制,通过共识协议的 Learner Read 算法,TiFlash 仍然可以提供一致性的读取效果。

  通过与行存一致的代价估算模型,TiDB 可以智能选取行存,列存或者混合的方式响应查询,以期获得最佳性能。

  以上是 TiDB HTAP 架构图,与以往不同的是,新的架构下增加了 TiFlash 列式存储节点。通过 Raft 共识算法进行复制,每个 Region 可以拥有行存和列存两种副本,而用户查询会根据统计信息和代价估算自动选择副本类型。

  TiDB 创新性地利用 Raft 共识协议同时实现了行列混合,负载隔离,以及异步复制下的一致性读取,为 HTAP 架构设计提供了新的思路。PingCAP 联合创始人、CTO 黄东旭表示,我们相信,HTAP 将会随着业务对实时决策的需求不断增加而越来越普及,与此同时,希望我们的探索可以启发其他数据库开发者。

  TiDB 目前已经有近 1000 家海内外头部公司用户将其用于线上生产环境,涉及互联网、游戏、银行、保险、证券、航空、制造业、电信、新零售、政府等多个行业。包括国内的光大银行、北京银行、微众银行、美团点评、中通快递、知乎、爱奇艺等;海外用户如日本最大的支付公司 Paypay,视频公司 U-Next, 越南的独角兽 VNG,以及支付公司 ZaloPay,印度的 Zomato,BookMyShow,东南亚最大的电商 Shopee,法国视频互联网公司 Dailymotion 等,目前已经成为业内的分布式数据库事实标准。

  特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

  最近投影市场又上了不少新品,这让很多选购者一时间慌了阵脚,虽说投影种类繁多,而且机型复杂,但是只...

  8 月 31 日-9 月 4 日,第 46 届 VLDB 会议以线上直播的方式举行(原定于日本东京召开),PingCAP 团...

  9月3日,海信全新一代社交电视S7F在天漠音乐节首发,凭借325全景云台摄像头、1T家庭私有云、千...

  疫情引起的多米诺骨牌效应仍在持续,全球消费电子产业面临挑战。但是,危机也是发展之机,受“...

  相比于广撒网式的盲目攻击,针对政府、企业等高价值目标进行精准打击,成为当下网络攻击演变的新趋...

  在企业数字化转型的进程中,企业数据资产的价值开始日益显现。于企业而言,想要在每天无数商业活动所...

  2020年8月28日,中国上海,Ambarella(下称”安霸半导体”)公司(纳斯达克股票代码:AMBA,...

  一年前,中国电视领导者海信推出了全新的社交电视,并断言:这才是未来电视!一年之后的9月3日,海信...

  9月2日,华侨大学60周年校庆倒计时60天之际,云知声与华侨大学正式签署战略合作协议。根据协议,双...

  通过基于开放混合云架构的 IBM Watson,IBM 携手 USTA 为广大球迷提供远程交流论坛及切实的赛场评析,...

  随着大数据的发展,数据挖掘在零售领域中的运用正逐步显现,通过对大量的数据进行探索和分析,揭示...

  TrendForce 旗下拓璞产业研究院日前公布世界前十 IC 设计厂商,博通公司位居第一,高通公司退居第二...

  量子点是近年来比较火热的一种前沿性创新显示技术。量子点又称为纳米晶体,通过控制晶体尺寸就可以...

  2020年8月,西安葡萄城软件有限公司(以下简称葡萄城软件)的首场商业智能和报表进阶技术培训在古城西...

  今天给大家带来网络机顶盒的十大排名,对本年度十款性能出色的网络机顶盒做一个盘点,虽然今年进度条...

  9月3日,全宅智能家居领导品牌欧瑞博隆重推出新一代双核智能门锁S2 ,无论是从外观设计、材质还是黑...

  日前,华为、小米、联想等中国29家电子、家电公司相继发布2020年上半年财报信息,总体来看,其营收...

  近日,Geek online 2020编程大赛开启官网报名通道,大赛报名时间为8月24日-10月11日。该项赛事的主...

  8月安卓新发布手机流畅榜数据来自鲁大师安卓APP 08.01日-08.31日的数据,榜单只筛选在这期间新发布...

  手机作为我们日常重要的通讯设备,除了能够打电话,拍照等其他用途之外,它还可以帮助我们处理更多...

 
关键词: 科技小论文
(文/小编)
打赏
免责声明
• 
本文为小编原创作品,作者: 小编。欢迎转载,转载请注明原文出处:https://www.31duo.com/news/show-507477.html 。本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们。
 

(c)2016-2019 31DUO.COM All Rights Reserved浙ICP备19001410号-4

浙ICP备19001410号-4