Yellowbrick Data如何在x86架构上做到处理PB数据，性能提升100倍，功耗降低10倍的

最新推荐文章于 2025-02-20 14:41:18 发布

原创

最新推荐文章于 2025-02-20 14:41:18 发布 · 320 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#big data #数据库 #数据仓库 #数据库架构 #dba

Yellowbrick Data通过创新的内核设计，实现了在x86架构上处理PB级数据时，性能提升100倍，功耗降低10倍。其用户空间旁路内核避免了Linux内核的性能瓶颈，优化了内存管理、线程模型和设备驱动，提供亚秒级响应时间。这一技术革新降低了硬件资源需求，例如1.3PB数据仓库只需6U机柜，对比传统产品节省了大量电力消耗。

环保减排应该是今年最热话题之一，江苏、湖南、浙江、广东、云南、山东等10余省份的“停电限产”到全民关注碳中保卫我们的地球。

互联网行业，服务器就是生产力。今天看到汽车之家的案例， 2013年他们的广告离线数据分析已经用到50台服务器，到2021年集群3050台，日均作业35万，处理数据7PB. 现在数据分析集群标配2路服务器，每台功耗750瓦/小时，那么3050台机器每小时2287.5千瓦就是2287.5度电/小时，算他们一天运行8小时，那就是18300度电/天，而他们会占用305个标准机柜。

Yellowbrick Data的技术创新和进步是跨时代的

Yellowbrick Data数据仓库是一个先进的、大规模并行处理（MPP）的SQL数据库，为最苛刻的批处理、实时、临时和混合工作负载而设计。它可以在众多节点上以高达PB级的规模运行复杂的查询，并保证亚秒级的响应时间。

今天的大数据分析硬件通常都有几十G到几百G的内存和几十个CPU核心。随着intel的产品更替，市面主流的AMD服务器节点可以支持2TB的内存和128个CPU核心（256个vCPU），我们设想到2023年，192个核心（384个vCPU）将普遍可用。在这些服务器节点上运行通用软件的效果并不理想。操作系统调度器是为等待事件和 "连接交换 "而建立的：" 线程等待事件，如按键、网络数据包到达、存储I/O完成或同步基元可用--并在竞争的线程和进程之间进行切换，以尽量做到公平并有效地使用缓冲区。因此，现代数据库每秒钟在每个CPU核上进行数以万计的上下文切换并不罕见，总的来说，每秒钟有数百万次。

传统观点认为，如果你花在上下文切换上的CPU时间不多--低于10%--你的情况就很好；上下文切换