Databend 性能调优-基础篇

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

在软件基础设施领域,人们开始越来越重视代码的性能优化,在满足其可实现功能完整的同时,若可逐步去优化代码,则能在相同硬件条件下达到更好的工作效率,进一步提高业务生产效率。尤其是大数据领域,比如 OLAP 数据库通常服务于海量数据即席查询分析的场景,一些看似不起眼的底层调优却能在数据量级上进行优化叠加,从而达到优化系统整体分析查询的性能目的,可谓星星之火可以燎原。

在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示:

1、基础篇:代码调优的前置知识 2、实践篇1:Databend 源码性能调优实践 3、实践篇2:Databend 的 Group By 聚合查询为什么跑的这么快?

在后续 Databend 打磨的过程中,我们也将介绍更多关于性能优化相关的设计,比如Databend 新的 pipeline workflow 模型设计,Databend 如何将向量化和编译执行结合等。

关于本系列课程的视频回放,可以点击https://www.bilibili.com/video/BV1zM4y1c7aW?spm_id_from=333.999.0.0 查看~

1、存储器层次结构

随着科技的不断发展,大家一定对存储器越来越不陌生了,下图中所呈现的内容为存储器的金字塔模型。

图中存储器层次结构从上往下为:寄存器、L1 Cache、L2 Cache、L3 Cache、内存、SSD/HDD 硬盘。每个层次结构都有着不同的容量、缓存时间。从上往下来看,存储容量越大,但速度越慢,成本越低,往上来看则相反。通常编写高性能代码的原则在于将数据访问靠近上层,让数据离 CPU 靠近,减少数据访问的开销。 file

2、延迟

上图了解了通用的存储器,我们再来介绍下存储器大概的访问延迟。延迟也表示为完成计算或者 I/O 请求所需的时间,为了量化这个指标,也会通过各种计算来衡量这个性能,例如 IOPS、吞吐量等等。

下图[1]为大家列出几个每个程序员都应该了解的延迟数字,这些数字代表了计算机各类操作的一个大概耗时: file

Jeff dean 曾要求这些延迟所有程序员都应该熟记于心, 它让我们在代码调优的时候能有一个客观的度量值。

3、局部性原理

基于现代计算机存储器的设计,程序在执行的过程中存在着很强的局部性,局部性又分为了「时间局部性」和「空间局部性」。

时间局部性: 时间局部性是指当一个数据在某一时间被访问后,则有可能在不久后被再次访问,所以我们看到很多程序会利用缓存来加速数据访问。

空间局部性: 也称数据局部性,得益于存储器缓存的设计,它是指当一个数据在某一地址被访问了之后,则访问它相邻位置的数据也会更加高效,常见于循环访问数组数据中。

所以当我们利用好这些局部性原理,可以编写更加“局部性”的代码来提升 CPU 的性能和利用率。下图中展示为英特尔公司的 Core i7 Haswell 处理器的存储器山模型,x轴表示存储器的容量大小,y 轴表示程序访问的步长,z 轴表示存储器访问吞吐,其3D模型则为图中所示。 file

随着存储器的容量提升,性能基本呈倒退趋势,但如果步长可以在一定短的区间内,可以非常好利用数据局部性的优化,比如 CPU 的 prefetch,从而达到提升吞吐的作用。

4、数据局部性示例

这里再介绍一个矩阵的行优先和列优先遍历访问的例子,我们遍历矩阵求和的方式是先循环行方式遍历还是先循环列方式进行遍历。如图所示,在 Row-major order 中,行遍历求和的性能远高于列遍历求和的性能,因为行遍历的方式数据能有更好的局部性,相邻的数据可以在 CPU cache 中,数据可以以非常高效的方式访问。同时,编译器也能对局部性强的数据访问进行优化,生成更加高性能的代码,比如自动向量化。 file

5、性能表达

这里引用 CASAPP [2] 中 Prefix-sum functions 的例子,在 psum1 函数中做的是直接使用一个 for 循环做加总求和,在 psum2 中,对循环进行展开,步长为 2 进行遍历。我们对两个函数设置不同的循环次数,每次运行代码都能得到一个 CPU 时钟结果,将结果运用最小二乘法可以拟合成下面的两条直线,直线的效率对应的就是函数性能的开销。可以得出 psum2 的性能明显优于 psum1。 file file

6、实用工具和脚本介绍

在基础篇的后面,介绍下 Databend 中常见的调优方式。

  1. Print & Log & Tracing metrics

    (1) 最常见的还是通过日志打印耗时,或者将耗时输出到监控系统中

    (2) prometheus, jaejer [3]

  2. Perf is a good tool, pprof, flamegraph

    (1) How to profile databend [4]

    (2) Cargo flamegraph crate [5]

  3. cargo bench & criterion [6]

  4. databend-benchmark [7]

  5. ignore function && progress [8]

本文ppt地址:

[1]https://github.com/datafuselabs/datafuse-presentations/tree/master/meetup-20211203-performance-tuning-in-databend

[2]https://github.com/wubx/rust-in-databend/tree/main/24-performance-tuning-in-databend

7、文章相关引用

[1]https://colin-scott.github.io/personal_website/research/interactive_latency.html [2]CS:APP3e, Bryant and O'Hallaron (cmu.edu) [3]ISSUE-3627: adding distributed tracing instrumentation to query by dantengsky · Pull Request #3628 · datafuselabs/databend (github.com) [4]How to profile Databend | Databend [5]flamegraph-rs/flamegraph: Easy flamegraphs for Rust projects and everything else, without Perl or pipes <3 (github.com) [6]bheisler/criterion.rs: Statistics-driven benchmarking library for Rust (github.com) [7]databend/databend-benchmark.rs at main · datafuselabs/databend (github.com) [8]databend/perfs.yaml at 9393f5cf7da5827132acd479185878726caf58bf · datafuselabs/databend (github.com)

如果想了解更多,可以关注公众号: Databend

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

相关推荐

别再手动查日志了!用Dify+Zabbix打造你的专属运维“嘴替”(保姆级配置流程)

本文详细介绍了如何利用Dify平台与Zabbix监控系统集成,构建智能运维对话系统,实现自然语言交互的运维管理。通过保姆级配置流程,帮助运维工程师提升查询效率、降低学习成本,打造企业级智能运维解决方案。

weixin_27298377的博客 457

《深入了解计算机系统》笔记——优化程序性能

程序性能优化 编写高性能程序需要满足: 1.选择适当的算法和数据结构 2.必须编写出变异其能够有效优化以转化成高效可执行代码的源代码 程序优化 程序优化的第一步就是消除不必要的工作:例如对同一个内存地址的反复读写我们要尽可能的减少,消除不必要的函数调用、条件测试和内存引用。这些都不依赖目标机器的任何具体属性而属于程序员可控范畴内的代码的改动。 为了使性能最大化,程序员和编译器都需要一个目标机器的模...

ChristmasError的博客 2466

DP链路训练从HPD触发到通道对齐:原理与调试实战

高速数字接口的稳定工作依赖物理层信号的精确协商,链路训练正是DisplayPort接口中确保源端与接收端在速率、摆幅和时序上达成一致的关键机制。HPD作为链路状态变化的触发信号,与通道对齐一同构成了训练流程的首尾环节。理解从时钟恢复到均衡再到多通道对齐的完整过程,有助于快速定位显示异常问题。在工程实践中,借助DPCD寄存器交互和AUX通道日志,可以系统性地排查训练失败原因。围绕链路训练全流程进行剖析,重点探讨HPD触发机制、训练图案选择、寄存器配置以及链路降级策略,为显示方案开发与调试提供工程参考。

weixin_30110543的博客 240

Databend 集群部署 | 新手篇(2)

,其中 databend-query 是计算节点,无状态模式,这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群,其中 databend-query 可以是一个节点,而且可做到不使用就关闭。如果你使用的是公有云上对象存储,就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色:databend-meta 集群和 databend-query 集群。

Databend的博客 823

LCD、LED、OLED、Mini LED、Micro LED、全阵列LED、QLED、QD-OLED、QNED、AMOLED是什么意思?

LCD(液晶显示器,Liquid Crystal Display)定义:LCD 是一种利用液晶材料控制光线通过的显示技术,需依靠背光源(如冷阴极荧光灯 CCFL 或 LED)照亮液晶层以形成图像。技术原理:液晶分子在电场作用下改变排列,控制背光通过的强度和颜色。液晶本身不发光,需外部光源。特点:结构包括背光层、液晶层、彩色滤光片和偏光片。响应时间较慢,黑色表现因背光漏光而偏灰。LED(发光二极管显示,Light Emitting Diode)定义。

中国最威武的城市!武功军威-武威,铁骨铮铮! 3433

10BASE-T1S协议中的PLCA机制:实现无碰撞网络传输的关键

本文深入解析了10BASE-T1S协议中的PLCA(物理层冲突避免)机制。作为IEEE 802.3cg标准的关键部分,PLCA通过循环调度与机会传递,从根源上避免了网络碰撞,为工业与汽车等场景提供了确定性的低延迟传输保障,是实现可靠实时通信的核心技术。

weixin_29250403的博客 210

Databend Parser 快速入门

Parser 模块主要负责将 SQL 字符串经过词法分析得到的 Token 列表转换为 AST(抽象语法树)的过程。parse_sqlsql_tokens和dialect,返回一个Result,其中包含一个Statement和一个可选的输出格式String(如 CSV 格式等)。sql_tokens参数是一个对 SQL 语句进行词法分析之后得到的Token数组,令牌包含关键字、标识符、运算符等信息。dialect参数表示 SQL 方言,Rust 提供了几种常见的方言,比如 SQLite、MySQL 等。

Databend的博客 636

模型算力需求估算

(Billion Parameters,简称B)和训练/推理的计算任务复杂度,结合硬件计算能力(例如每秒浮点运算次数,FLOPS)来估算。以下是详细的方法和公式说明,以及实际的计算示例。算力需求的估算依赖于参数量、模型架构及硬件性能,结合训练/推理场景的特定要求来计算。通过上述公式和示例,我们可以定量分析不同任务的算力需求,并合理配置硬件资源以优化运行效率。结论:推理任务相对较轻,单台H100可以在30秒内完成此任务。推理算力需求一般远低于训练,因为只需要执行前向传播。,可以将训练时间缩短到约。

形上得其象,形下合于数;阴阳自济,玄理自明。 8965

Databend 源码性能调优实践-实践篇 1

在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示: 1、基础篇:代码调优的前置知识(https://mp.weixin.qq.com/s/WTCL6w9ur6DyIBUWt1TvQA ) 2、实践篇1:Databend 源码性能调优实践 3、实践篇2:Databend 的 Group By 聚合查询为什么跑的这么快? Databend 是基于 Rust 语言开发面向云原生设计的数据仓库。Rust 是近几年比较火的系统编程语言,它具有零额外开销的抽象成本,并且有

Databend的博客 446

【量化入门】Tushare库获取公募基金的历史净值

在本文中,我们将介绍如何使用Python的Tushare库获取公募基金的历史净值。

木头大左的博客 1146

基于 YOLOv26 的金属表面缺陷检测系统:智能视觉质检方案

摘要: 基于YOLOv26的金属表面缺陷检测系统采用深度学习技术,实现对划痕、裂纹、腐蚀等8类常见缺陷的自动化检测。系统通过数据增强预处理和YOLOv26模型的高精度识别能力,具备多类别分类、实时推理和强鲁棒性特点,适用于不同金属材质与光照条件。架构包含数据采集、预处理、YOLOv26检测和后处理模块,代码实现采用PyTorch框架,支持训练数据增强与标准化处理,为工业质检提供高效智能解决方案。

一键难忘的博客 592

【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍

Databend 是一款使用 Rust 研发的新一代云原生数据仓库,完全面向云架构并基于对象存储构建。它具备即时扩缩容能力,能够在数分钟内增加数百倍的算力,为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据,统一计算入口,供多用种业务使用,从而助力企业更准确地洞察业务、制定战略,很好的满足了客户私有化部署的不同需求。

Databend的博客 959

在 SAP 世界里拥抱非 SAP 技术:一名 ABAP 开发者的成长路径与实战方法论

那段时间非常煎熬,但它带来的回报也很真实:你会更尊重“可观测性”的价值,也会更愿意在 SAP 场景里把日志、追踪、断言、隔离测试做扎实。解决这类问题,靠的并不是某个神奇的 SAP 函数,而是跨栈的工程设计:接口要有业务幂等键,SAP 侧要有落库与锁策略,返回要有可识别的状态码,异常要能回放,补偿要有可追踪的工单或队列。这套体系吸引我的地方,在于它更贴近真实业务:客户要的往往不是“能打印”,而是“能规范地输出”,包括版式、字体、条码、二维码、电子签章位置、分页规则、多语言、合规水印、可回写的交互字段等。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 173

Databend 开源周报第 122 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1177

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Databend 性能剖析方法与工具

Databend整合了一些性能剖析工具,可以方便进行深入分析。本文将会介绍如何进行CPU/MemoryProfiling。

Databend的博客 580

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Databend 为什么使用 Rust 开发?

11 月 30 日,Rust China Tour 武汉站在武汉恺德光谷城际酒店举行。本次活动汇聚了来自 Databend、GreptimeDB、华中科技大学的多位 Rust 技术专家和研究者,共同探讨 Rust 语言在前沿技术中的创新应用。Databend 数据库研发工程师张祖前在活动中带来主题演讲《云原生数仓 Databend 的 Rust 开发实践》,重点探讨 Databend 的设计与开发过程,为何选择 Rust 进行开发,以及在使用 Rust 开发过程中的心得与经验。

Databend的博客 1314

基于 Rust 与对象存储构建实时云原生数仓:Databend 的实践与挑战

Databend 基于 Rust 语言和对象存储,构建了新一代实时云原生数仓,在解决大数据分析成本和复杂度问题上迈出了重要一步。尽管面临诸多技术挑战,但通过不断的技术创新和社区协作,Databend 正在成为大数据领域的一股重要力量。随着技术的不断完善和生态的持续扩展,Databend 有望在未来的大数据分析场景中发挥更加重要的作用。

ITPUBD的博客 964

Databend in 2022

社区同学为 Databend 实现了 SQLancer 所支持的 TLP、QPS、NoREC 全部三种测试方案,并以及合并到上游的 main 分支之中,发现并修复数十处潜在的 Bug ,进一步保障了 Databend 执行的正确性。生态和用户是相辅相成的,繁荣的生态可以吸引更多用户体验和参与到 Databend 社区之中,而随着用户需求的进一步落地,生态也能够获得更加长足的进步。用户是 Databend 赖以成长的土壤,不光支持着 Databend 的开发,也为 Databend 社区注入了更多活力。

Databend的博客 823

Databend 开源周报第 104 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 967

Databend 开源周报第 126 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1064

Databend 开源周报 第 99 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 992

Databend增量物化视图实践:Change Tracking与一致性读取调优指南

物化视图是数据仓库中加速查询的重要手段,通过预计算将复杂查询结果物化为物理表。传统全量刷新在面对海量数据时成本高昂,每次重算都需扫描全表,消耗大量计算与存储资源。增量刷新机制应运而生,其核心是只处理变化的数据,借助Change Tracking记录数据文件的增删改轨迹,刷新任务仅扫描变更文件并合并结果,从而大幅降低刷新开销。一致性读取则通过快照隔离保证查询始终看到完整版本的数据,避免中间态。这项技术适用于实时数仓、报表加速和指标服务等场景,能有效平衡数据新鲜度与资源消耗。本文结合实际案例,深入解析增量物化视

weixin_42523543的博客 206

揭秘 Databend 向量索引,加速 AI 应⽤的数据引擎

由于计算机只能理解数字,而人类交流主要依赖于文本、图像、音频等丰富的信息,这些数据存在大量歧义和复杂的上下文。如果没有合适的向量类型,计算机很难理解和处理这些非结构化数据。向量数据正好充当了桥梁,把人类复杂的信息转化为计算机能够处理的数字空间,从而让机器能够“理解”人类的信息。第一,向量能够对语义进行压缩。例如,文本信息经过向量化后可以转换为固定长度的向量。以图中示例为例,像 cat、kitty、dog、house 这些词汇都可以通过向量处理变成七维向量,去除原始数据中的冗余信息,仅保留关键特征。

Databend的博客 1054

利用 Graviton 和 Spot 实例打造 Databend 高性能数据平台

Databend Cloud 上 External Table+Attach Table 可以帮助用户构建一个内部数据集市,帮助用户节省 30-40万数据的同步任务:一份数据,不需要数据同步,不需要数据校验,借助 Amazon 上提供云原生基础,实现一个简单易用,可量化的数据平台。比如,将处理后的数据投递到 MySQL 或 Redis 中,再比如在游戏场景下,玩家每打完一局游戏,所有相关数据会立即被动态计算,玩家可以立刻看到本局的数据统计,了解队友表现是否存在问题,是否有人作弊等。二是私有化部署企业版。

Databend的博客 974

玩转 Databend UDF

Lambda UDF 是 Databend 中最简单的 UDF 形式,完全通过 SQL 语句定义和执行表达式,适合简单的数据转换和计算。我们可以在 SQL 中定义一个闭包函数,然后进行调用。│ UInt8 ││ 6 ││ Int64 ││ 33 │纯 SQL 实现,无需外部语言支持无法支持递归调用执行性能受表达式定义影响Databend 的多形态 UDF 支持为数据处理提供了极大的灵活性。

Databend的博客 1065

Databend 开源周报第 139 期

📢 Databend 现已默认启用全新聚合哈希表实现,在 Hits 基准测试中单条查询性能提升最高达 40%!是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1370
上一篇: This week in Databend #21
下一篇: 你所不了解的 Rust 生命周期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值