PingCAP DevCon 2021 万字长文回顾：预见数据技术的未来生态

PingCAP DevCon 是 PingCAP 一年一度的技术盛会，致力于探讨前沿科技与数字化趋势的融合，被誉为观测开源产业、数据库前瞻趋势的风向标。**7 月 24 日，以 “开放、连接、预见” 为主题的 PingCAP DevCon 2021 在京举行，为线上线下数万观众带来一场技术盛宴。PingCAP 创始人兼 CEO 刘奇，在大会上介绍了 PingCAP 在开源、企业级、国际化、未来发展方向的思考。**以下是演讲实录，字数 10366 ，需要 55 分钟阅读。

数据库正在经历一场划时代的体验式变革

2021 年，数据库正在经历一场划时代的体验式变革。如果以汽车行业做类比，这个变革就像是燃油车到电动车的跨越式变革。新一代汽车在大屏的可视化交互、强劲动力、自动驾驶、自我管理等众多创新功能方面，都带来了全新的体验。

**新一代的云数据库在资源扩展能力、自动伸缩、可管理、自服务方面也正在发生类似的体验变革。**今天大家在新一代汽车上面感受到的交互性、易用性、智能驾驶这些所有的能力，很多已经开始在新一代数据库中有所体现。

先通过两条曲线来回顾一下数据库的发展历史：第一条曲线从 1970 年开始，那一代数据库被称作经典数据库。经典数据库支撑了整个信息化时代，它们在企业的各种应用上扮演着至关重要的角色。从互联网时代开始，数据的高速增长，数字化进程的加速，硬件技术的革新，以及软件技术的创新，都极大地推动了数据库技术的变革。在第二条曲线的最近一个十年，结合开源和云的潮流，新一代云数据库正逐步走到舞台的中央。

其中，2020 年是这两条曲线的分水岭之年。从这一年开始，"开源，简化，融合"成为新的技术潮流。我们可以想象一下 ，2030 年的时候我们会开什么样的汽车？会使用什么样的数据库？两者在体验上以及演进方向上面其实是高度一致的，那就是更强大、更智能、更省心，也更有乐趣。

听起来前景一片美好，然而现实是残酷的。根据 Gartner 的观点，企业中有 85% 的大数据项目都失败了，为什么会有这么高的失败率呢？

主要有几个原因：

第一，伴随着业务的高速增长，数据库通常来不及扩容，无法跟随业务的脚步继续成长。PingCAP 的三位创始人，都是这些痛苦的亲历者。过去我们会为一个新的应用上线，准备一到两个月的时间，会为一个线上的促销活动熬许多个夜晚。当时还要做各种各样分库分表的应用改写，尽管如此，每一次上线依旧是提心吊胆；

第二，投资巨大的项目有许多没有办法及时转化数据的价值。其实，今天很多时候并不是缺乏数据，而是这个数据本身和数据的价值兑现存在一个巨大的鸿沟，比如无法满足时效性要求。

第三，通常大家选择的技术栈往往链路很长，从数据库通过 Binlog 或者 CDC 把一些变化的、更新的数据转到队列，然后从队列里面开始做 ETL，做完 ETL 又进入数据仓库，整个技术栈会拉的很长，从而数据价值的变现困难重重。今天的实时促销、实时风控等各方面的需求都要求达到秒级甚至是毫秒级的响应能力。

数字化在疫情肆虐的这段时间产生了一个很大的变化，大家对数字化的认知变得更深刻，数据的时效性成为刚需。**实时的交易处理、实时的反馈、实时的汇聚、实时的洞察成为全场景数字化的必备。**今天，秒级的数据分析和反馈都有可能带来数千万元的收入或是损失。

这些挑战也导致很多企业沉积了蜘蛛网一样复杂的技术栈，从而进一步导致了数据时效性变差，数据价值的变现变得更加困难。

相信开放的力量

互联网时代带来了数据量暴增、技术栈更加复杂，以及业务上不断涌现出来的各种各样发散的需求。未来十年，数据的增长只会更快，并且会呈现指数级的变化。如果我们停留于现状，不做技术上的变革，今天感觉到的痛苦，十年后会都会被指数级放大。

说到变革，很多人可能有一种感觉，PingCAP 是一家比较特别的公司，有一些不一样的调调。但不一定能说出这个调调到底是什么，其实 PingCAP 当时创业的想法很简单，就是希望做一个数据库可以让数据对业务的支持更简单、更方便，运维工程师也可以减轻压力，甚至可以让他们睡个好觉。睡个好觉，在今天就是这么奢侈。

当然，只有初心远远不够，数据库这么复杂的一个产品，不是靠几个工程师的奇思妙想可以完成的，需要靠用户在真实场景的打磨和开发者们持续地贡献。**在 PingCAP 创立的过程中，我们一直认为****TiDB不是 PingCAP 的产品，而是所有开发者、所有用户、所有 DBA 和所有运维工程师的共同"作品"。**这来自于我们对于开放的相信，对开源社区的信仰。

有些人步伐与众不同，是因为听到了远方的鼓声

梭罗在《瓦尔登湖》中有一句话：“有些人步伐与众不同，那是因为他们听到了远方的鼓声”。

六年前我们开发 TiDB 的时候，遇到过很多怀疑，很多不认可。从创业之初为了升级扩容而睡不着觉，到后面产品终于开发出来后，又会因为找不着用户睡不着觉。对于企业而言，数据库的更换有点像换心脏的支架，也像一个运行中的飞机更换发动机，几乎没有人愿意冒这样的风险。

当时，我们听到比较多的问题是：“TiDB？没听说过啊！”，“你们有哪些行业用户的案例吗？” 我们能够坚持下来，也是因为有第一批用户勇于尝鲜，积极尝试。当时的 TiDB 还是非常稚嫩的、没有经过太多考验的、缺少用户案例的 TiDB 。

今天，大家能看到 TiDB 的迭代速度如此之快，就是因为我们也听到了远方的鼓声，我们的步伐会变得更快，更坚定。这里的“我们”，是指坚持走开源道路的一群人，包括我们的用户和贡献者。

Believe in the Power of Openness

说到远方，我们就来说一个远方的真实故事。危地马拉一所大学有一个教授和他的学生，都是 Chaos Mesh®️ 社区非常活跃的用户。他们在 GitHub 上做了一个非常有意思的项目，通过构建一个分布式系统，来实时显示世界各地新冠疫苗接种的统计信息。Chaos Mesh® 在这个项目里面保证了这个分布式系统的稳定。

在看到这个项目之前，我们甚至都不知道危地马拉是中美洲的一个国家，同样也不知道 PingCAP 创建的混沌测试项目 Chaos Mesh® 能够以这种方式参与到全人类都关注的新冠疫情工作之中，也不知道这个项目还能够以另外一种方式去贡献它的社会价值。

这一切恰恰说明了一个开放的社区有多么大的延展能力，可以自发地延展到全世界各个完全没有想到的地方。这个例子让我们进一步看到了开放的力量，开源社区跨越了国界，跨越了民族，不断创新，并把成果再次贡献给整个社区，从而使