情况说明:国产拿了数据库世界第一

2034e9a0cb793f461793f5f3a99cc058.png

66a945b8cd51a0763e70456b98104471.gif

👉目录

1 OLAP 、OLTP:双料世界第一

2 三大自研技术能力

3 打榜不是目的,成功没有捷径

最近,数据库领域“奥林匹克”成绩张榜,在数据库“决策支持类”性能测试 TPC-DS 中:腾讯云数据库 TDSQL 以超强性能(7260万 QphDS)和超高性价比(37.52元/kQphDs)登上榜首——比原世界纪录保持者强282%、省37%!

数据库的领域没有弯道超车,这样的提升背后,底层的技术实现都做了哪些功课?本篇文章将为你揭秘!

关注腾讯云开发者,一手技术干货提前解锁👇

01

OLAP 、OLTP:双料世界第一

在此跟各位腾讯云的开发者读者们汇报一下,腾讯云数据库 TDSQL 现已登顶数据库 OLAP 和 OLTP 场景的双榜世界第一!

去年,腾讯云数据库 TDSQL 在数据库“事务处理类”性能测试 TPC-C 中刷新世界记录,登顶榜首。

近日,在最新发布的数据库“决策支持类”性能测试 TPC-DS 中,腾讯云数据库 TDSQL 以7260万分、37.52元同时刷新性能和性价比纪录,登顶世界第一。

给不清楚背景的大家介绍一下:

TPC-DS 是一个针对数据库管理系统分析性能的基准测试,它模拟一个大型零售商销售数据的在线数据分析(OLAP)场景,通过 99 个不同类型的分析任务,考察底层数据库的处理耗时、并发性能和导数性能等指标,是数据库产品分析处理能力和技术先进性的世界级标准。‍

在本次测试中,TDSQL 99个复杂分析任务单任务平均耗时 4 秒以内,领先榜单第二名一倍;多任务并行计算平均耗时 8 秒以内,领先两倍,以 7260 万分的性能评分,将决策支持类榜单纪录提升282%。在复杂任务处理能力大幅提升的基础上,TDSQL 将每1000评分的价格相比同类产品减少1/3,同时刷新 TPC-DS 性能与性价比纪录。

外行看热闹,内行看门道。在数据库的极致场景中,实现百分比级别的性能提升已是不易,而将性能翻倍的同时,还能做到成本下降,这背后就不是简单的硬件堆料、软件调优所能实现的了。

怎么做到的?

02

三大自研技术能力

联机分析处理(OLAP)场景下,如何充分发挥每个算力单元的极致潜力,以及确保每个任务之间不等待和阻塞,一直是数据库领域的重点攻关方向。

TDSQL 本次打榜的核心要求是,使用尽可能少的资源,在 10TB 数据量下,做到各项计算任务的秒级响应。

f9b71202efd15c96eb1568f5bb2fa372.png

这背后的三个核心优化方向,就是 TDSQL 自研的三大技术能力:更合理的分布式交互、更高的并行资源利用率和单核性能的极致优化。

TDSQL 的分布式交互能力是通过自研的 MPP(大规模并行处理)执行框架实现的。

该框架优化了主流 OLAP 数据库应用中的“pull”模型,解决了数据传输中的“拥堵”问题。在设计上,TDSQL 采用了自底向上的数据推送方式,替代了传统的自顶向下的数据请求方式,每个节点主动推送所需数据,而不是等待上层节点请求。这种设计允许查询分片之间的充分解耦,使得分片间的通信和配合更加高效,从而确保所有计算任务能够全速顺畅运行。

1aaabf2956d4d1191f42aa7d428e3f48.png

TDSQL 在并行计算方面的能力是通过自研的并行执行框架实现。

该框架彻底去除了并行进程间的阻塞依赖,使得 CPU 利用率提高至95%以上。TDSQL 通过细粒度的任务分解和动态资源调度,确保每个 CPU 核心都能被充分利用。TDSQL 采用了数据并行、任务并行和管道并行等多维并行策略,这些策略协同工作,使得大规模数据处理任务能够以极高的效率执行。

此外,TDSQL 还优化了内存管理和 I/O 操作,进一步降低了并行计算中的延迟。这种设计使得 TDSQL 在处理大规模数据集时,能够显著提升性能,尤其是在复杂的数据分析任务中表现突出。

f86f63fb455a18969991ed7f03ba965e.png

对于单核极致性能的追求,TDSQL 团队自主研发了列式存储和向量化执行引擎。

列式存储优化了数据的物理存储方式,使得数据按列存储,提高了数据压缩比和数据读取效率。向量化执行引擎则利用现代 CPU 的 SIMD 指令集,实现了单条指令处理多条数据,显著提升了数据处理速度。TDSQL 通过深度优化算法和数据结构,以适应新一代 CPU 的特性,实现单核效率的倍数提升。

这种极致的性能优化,使得 TDSQL 在处理大规模数据分析任务时,能够以更少的资源消耗实现更快的处理速度。

f8703ace24d1fbe5078105d23521a4b8.png

03

打榜不是目的,成功没有捷径

基础软件的国产化从来没有一蹴而就,数据库的场景下也从来不存在弯道超车。 

TDSQL 在去年和今年的两次打榜,是在产品的多年打磨,场景上的持续突破的积累下,一次对自身能力的阶段性总结与展示。

TDSQL 在创立之初,便服务于腾讯内部客户,如微信支付、腾讯广告等业务,提供强一致高可用、功能完备的夯实基础能力。在第二阶段走出腾讯,面向企业客户,自研 MPP 架构,实现了 TP+AP 的融合架构。在攻坚金融行业的第三阶段,TDSQL 做到了平滑迁移前提下的极致性能。

十年磨一剑,一剑震九州。

在国内的技术环境里,对国内技术产品做到世界顶级的希望是一种朴素的追求,没做到就是没做好。然而这其中的技术挑战有多难,或许也只有亲历者才能略知一二。

腾讯云 TDSQL 的打榜登顶,并不意味着 TDSQL 在极致性能、产品优化、服务提升上已经做到完美,而是激励着我们不断去突破自我,为中国乃至世界客户提供更优质的企业服务。

-End-

原创作者|腾讯云开发者

a5e051d00cbebfdcd0c516eeb67cd48f.png

评论区留下你对 TDSQL 的祝福,我们将选取点赞本文并且留言评论的 5 位读者,送出腾讯云开发者定制发财按键1个(见下图),11月8日中午12点开奖。

5374069f428064d5f106270c518d651a.png

📢📢欢迎加入腾讯云开发者社群,享前沿资讯、大咖干货,找兴趣搭子,交同城好友,更有鹅厂招聘机会、限量周边好礼等你来~

80ed73a739c0c8cd87427aae6db777c5.jpeg

(长按图片立即扫码)

0ca5b478e2bd3e709ea33d2a30fb58d2.png

eb6dad16d917ab686e3375ec3210bd8a.png

2828cd76937f71d547716aaec03f569c.png

f81e603a6efbde091f0256beb1e22e24.png

ec179402202b1304c7d9c518ecd81f5a.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值