Databend 性能剖析方法与工具

大数据基准测试平台BigDataBench5.0安装配置及使用 bigDataBench5.0(2019.6月发布) 前提:安装hadoop、jdk、g++、gcc、gsl 1. 首先就是下载BigDataBench安装包 http://125.39.136.212:8090/BigDataBench/BigDataBench_V5.0_BigData_MicroBenchmark http://125.39.136.212:8090/BigDataBench... 阅读详情

Databend 整合了一些性能剖析工具,可以方便进行深入分析。本文将会介绍如何进行 CPU / Memory Profiling。CPU Profiling

CPU Profiling

CPU 分析,按照一定的频率采集所监听的应用程序 CPU(含寄存器)的使用情况,可确定应用程序在主动消耗 CPU 周期时花费时间的位置。

pprof 是 Google 开源的代码性能分析工具,可以直接生成代码分析报告,不仅支持通过命令式交互查看,也便于可视化展示。Databend 使用 pprof-rs1 完成对 pprof 工具的支持。

必备工作

CPU 分析属于 Databend 的内置能力,部署一个 Databend 实例即可开始使用。

命令行交互

go tool pprof http://localhost:<your-databend-port>/debug/pprof/profile?seconds=<your-profile-second>

若 http 端口为 8080 ,采样时间为 20 秒,结果示例如下:

$ go tool pprof http://localhost:8080/debug/pprof/profile?seconds=20
Fetching profile over HTTP from http://localhost:8080/debug/pprof/profile?seconds=20
Saved profile in ~/pprof/pprof.samples.cpu.001.pb.gz
Type: cpu
Time: Jul 15, 2022 at 9:45am (CST)
Duration: 20s, Total samples = 141.41ms ( 0.71%)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof) top
Showing nodes accounting for 141.41ms, 100% of 141.41ms total
Showing top 10 nodes out of 218
      flat  flat%   sum%        cum   cum%
  141.41ms   100%   100%   141.41ms   100%  backtrace::backtrace::libunwind::trace
         0     0%   100%    10.10ms  7.14%  <&mut regex_syntax::utf8::Utf8Sequences as core::iter::traits::iterator::Iterator>::next
         0     0%   100%    10.10ms  7.14%  <<std::thread::Builder>::spawn_unchecked_<sled::threadpool::queue::spawn_to<sled::pagecache::iterator::scan_segment_headers_and_tail::{closure#0}::{closure#0}, core::option::Option<(u64, sled::pagecache::logger::SegmentHeader)>>::{closure#0}::{closure#0}, ()>::{closure#1} as core::ops::function::FnOnce<()>>::call_once::{shim:vtable#0}
         0     0%   100%    10.10ms  7.14%  <<std::thread::Builder>::spawn_unchecked_<sled::threadpool::queue::spawn_to<sled::pagecache::iterator::scan_segment_headers_and_tail::{closure#0}::{closure#0}, core::option::Option<(u64, sled::pagecache::logger::SegmentHeader)>>::{closure#0}::{closure#1}, ()>::{closure#1} as core::ops::function::FnOnce<()>>::call_once::{shim:vtable#0}
         0     0%   100%    10.10ms  7.14%  <<std::thread::Builder>::spawn_unchecked_<sled::threadpool::queue::spawn_to<sled::pagecache::iterator::scan_segment_headers_and_tail::{closure#0}::{closure#0}, core::option::Option<(u64, sled::pagecache::logger::SegmentHeader)>>::{closure#0}::{closure#2}, ()>::{closure#1} as core::ops::function::FnOnce<()>>::call_once::{shim:vtable#0}
         0     0%   100%    10.10ms  7.14%  <<std::thread::Builder>::spawn_unchecked_<sled::threadpool::queue::spawn_to<sled::pagecache::iterator::scan_segment_headers_and_tail::{closure#0}::{closure#0}, core::option::Option<(u64, sled::pagecache::logger::SegmentHeader)>>::{closure#0}::{closure#3}, ()>::{closure#1} as core::ops::function::FnOnce<()>>::call_once::{shim:vtable#0}
         0     0%   100%    10.10ms  7.14%  <[&str]>::iter
         0     0%   100%    10.10ms  7.14%  <[(char, &[char])]>::binary_search_by::<<[(char, &[char])]>::binary_search_by_key<char, regex_syntax::unicode::simple_fold::imp::{closure#0}>::{closure#0}>
         0     0%   100%    10.10ms  7.14%  <[(char, &[char])]>::binary_search_by_key::<char, regex_syntax::unicode::simple_fold::imp::{closure#0}>
         0     0%   100%    10.10ms  7.14%  <[(char, &[char])]>::binary_search_by_key::<char, regex_syntax::unicode::simple_fold::imp::{closure#0}>::{closure#0}

可视化

执行下述命令可以进行可视化:

go tool pprof -http=0.0.0.0:<your-profile-port> <your profile data>

例如,执行下述语句可以在 8088 端口开启 WEB UI 。

go tool pprof -http=0.0.0.0:8088 ~/pprof/pprof.samples.cpu.001.pb.gz 

访问 http://0.0.0.0:8088/ui/flamegraph 即可得到火焰图。

注意事项

Databend 暂时不支持在 musl 平台上运行 pprof 。

Memory Profiling

内存分析,在应用程序进行堆分配时记录堆栈追踪,用于监视当前和历史内存使用情况,以及检查内存泄漏。通过与 jemalloc 的集成,Databend 得以整合多种内存分析能力。这里使用 jeprof 进行内存分析。

必备工作

  • 安装 Jemalloc,并启用其剖析能力 ./configure --enable-prof

  • 在构建二进制文件时启用 memory-profiling 特性:cargo build --features memory-profiling

  • 在创建 Databend 实例时,设置环境变量 MALLOC_CONF=prof:true 以启用内存分析。示例:

    MALLOC_CONF=prof:true ./target/debug/databend-query
    

堆快照转储

jeprof <your-profile-target> http://localhost:<your-databend-port>/debug/mem

下面的例子选用 debug 模式下编译的 databend-query 作为 target,端口为 8080,结果如下所示:

$ jeprof ./target/debug/databend-query http://localhost:8080/debug/mem
Using local file ./target/debug/databend-query.
Gathering CPU profile from http://localhost:8080/debug/mem/pprof/profile?seconds=30 for 30 seconds to
  ~/jeprof/databend-query.1658367127.localhost
Be patient...
Wrote profile to ~/jeprof/databend-query.1658367127.localhost
Welcome to jeprof!  For help, type 'help'.
(jeprof) top
Total: 11.1 MB
     6.0  54.6%  54.6%      6.0  54.6% ::alloc_zeroed
     5.0  45.4% 100.0%      5.0  45.4% ::alloc
     0.0   0.0% 100.0%      0.5   4.5% ::add_node::{closure#0}
     0.0   0.0% 100.0%      5.0  45.4% ::alloc_impl
     0.0   0.0% 100.0%      5.0  45.4% ::allocate
     0.0   0.0% 100.0%      4.5  40.8% ::allocate_in
     0.0   0.0% 100.0%      0.5   4.5% ::apply_batch_inner
     0.0   0.0% 100.0%     11.1 100.0% ::block_on::
     0.0   0.0% 100.0%     11.1 100.0% ::block_on::::{closure#0}
     0.0   0.0% 100.0%      0.5   4.5% ::clone
(jeprof) 

生成内存分配调用图

常见的用例之一是查找内存泄漏,通过比较间隔前后的内存画像即可完成这一工作。在下面的命令行中,以 10 s 为间隔,获取前后两个时间节点的内存画像。

curl 'http://localhost:<your-databend-port>/debug/mem/pprof/profile?seconds=0' > a.prof
sleep 10
curl 'http://localhost:<your-databend-port>/debug/mem/pprof/profile?seconds=0' > b.prof

接着,可以利用这两份内存画像来生成 pdf 格式的内存分配调用图。

jeprof \
    --show_bytes \
    --nodecount=1024 \
    --nodefraction=0.001 \
    --edgefraction=0.001 \
    --maxdegree=64 \
    --pdf \
    <your-profile-target> \
    --base=a.prof \
    b.prof \
    > mem.pdf

同样选用 debug 模式下编译的 databend-query 作为 target,端口为 8080,结果如图所示:

 

注意事项

目前无法在 Mac 上进行内存分析,不管是 x86_64 还是 aarch64 平台。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

 文章首发于公众号:Databend

Footnotes

  1. https://crates.io/crates/pprof ↩

吴炳锡:AI 时代下的湖仓一体化平台建设的思考 随着企业数字化转型的深入推进,实时数据仓库与湖仓一体化架构已成为现代数据平台建设的核心议题。在业务节奏日益加快的今天,企业不仅需要处理海量的历史数据,更需要实时洞察数据变化,快速响应市场需求。如何在保证数据一致性和可靠性的前提下,实现数据湖的灵活性与数据仓库的高性能完美融合,成为每一位数据架构师面临的重大挑战。在第 16 届中国数据库技术大会(DTCC2025)的「实时数仓与湖仓一体应用实践(上)」专场中,Databend 联合创始人吴炳锡带来了主题为《AI 时代下的湖仓一体化平台建设的思考》的深度分享。 阅读详情

相关推荐

databench:数据分析工具

databench:数据分析工具

Spark基准测试平台BigDataBench使用教程

【Spark从菜鸟到入门】 spark初体验——wordcount词频统计 spark基础知识学习 spark单机版环境搭建 spark源码学习 spark分布式环境搭建 spark基准测试平台BigDataBench使用教程 1. BigDataBench简介 大数据系统的蓬勃发展催生了大数据基准测试的研究,如何公正地评价不同的大数据系统以及怎样根据 需求选取合适的系统成为了热点问题.然而,...

五环旗修炼之路 3614

VCS和UVM常用编译选项

VCS编译选项 -full64 在64bit模式下编译、仿真,用于64位操作系统 -j8 指定编译器可以并行编译的进程数为8 -timescale=1ns/1ps 指定仿真时间和精度 +libext+.v+.V+.sv+.svh 识别.v、.sv、.svh等多种格式文件 -sverilog 支持system verilog 编译 -f xxx.lisf 指定包含所有设计文件列表的文件名 -top test 设置顶层模块为test。(指包含.

qq_40571921的博客 9935

如何对 Databend 进行基准测试

Databend 的设计目标之一就是保持最佳性能,为了更好观测和评估性能,社区不光提供一套简单的本地基准测试方案,还建立了可视化的持续基准测试。hyperfine 是一种跨平台的命令行基准测试工具,支持预热和参数化基准测试。Databend 建议使用 hyperfine 通过 ClickHouse / MySQL 客户端执行基准测试,本文将使用 MySQL 客户端来介绍它。进行本地基准测试之前,必须完成以下几项准备工作:根据你的数据集特征和关键查询设计 SQL 语句,如果需要预先加载数据,请参考 Docs

Databend的博客 610

ArcGIS天地图矢量化秘籍:用重分类+ArcScan高效提取建筑轮廓线

本文详细介绍了利用ArcGIS重分类和ArcScan技术高效提取天地图建筑轮廓线的半自动化流程。通过动态中断值计算、多级重分类策略和ArcScan高级矢量化技巧,显著提升城市规划中的矢量化效率与精度,适用于中级GIS用户。

weixin_30879169的博客 476

一文搞懂【Linux 搭建 Dread Hunger 服务器】附本体及Docker部署集群方案

看直播发现了五花八门的开服器和版本,一时兴起按官方文档进行了搭建尝试,所以我的版本基于官方Stream2024.01.10更新的版本,也就是停服时的玩法,应该可以根据mod和补丁魔改成更那些开服器一样的版本,本文不做谈论,注重服务器搭建,毕竟8个人不可能在一个局域网里乱象:首先,我看了大量教程视频,一类是开服器的推广,另一类自建的基本采用Windows搭建,我觉得最离谱的是大部分教程都会教你买一台远程Windows虚拟机???

LHmine的博客 3990

数据库基准测试(Database Benchmarking) 说明

1   TPC概述 对数据库和服务器进行压力测试或者做对比的时候,都是经常会使用HammerDB 或者 Benchmark之类的工具,而且最常用TPCC的标准进行测试。     这里说的TPCC,前3个字母是:TPC 是Transaction Processing Council(事务处理委员会),其提供了量化的方法和标准。     所以我们说的TPCC就是其中一种测试方法。       TPC的

David Dai -- Focus on Oracle 2万+

2023年全国职业院校技能大赛高职组“区块链技术应用”赛项赛卷(3卷)解析

我们先绘制题组中所有设计图我这边作图用的国内的在线作图工具。

2301_76737000的博客 5423

大数据Benchmark

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33743661的博客 619

CentOS7安装openGauss5.0.2LTS版本

该文档要根据自己的实际情况调整ip地址。要根据自己的实际网卡调整。

superhanyubo的专栏 2581

github创建账号第一步始终出错

github创建账号总结:第一次注册GitHub,填好用户名邮箱密码后进入下一步就卡在哪里,上面还提示Unable to verify your captcha response等,进入网址的解决办法以及下载其他的浏览器也无法解决,用手机浏览器抱着试一试的心态竟然成功了,分享给大家。手机下载谷歌浏览器,进入GitHub正常注册,能向下继续,邮箱验证完以后再用电脑登陆就ok啦

计算机毕业论文源码,学生个人网页制作html源码。贴近用户做网络推广和互联网优化。 4378

Databend 为什么使用 Rust 开发?

11 月 30 日,Rust China Tour 武汉站在武汉恺德光谷城际酒店举行。本次活动汇聚了来自 Databend、GreptimeDB、华中科技大学的多位 Rust 技术专家和研究者,共同探讨 Rust 语言在前沿技术中的创新应用。Databend 数据库研发工程师张祖前在活动中带来主题演讲《云原生数仓 Databend 的 Rust 开发实践》,重点探讨 Databend 的设计与开发过程,为何选择 Rust 进行开发,以及在使用 Rust 开发过程中的心得与经验。

Databend的博客 1314

dji psdk开发 关于SDK认证芯片的使用

Payload SDK V3.10.0 于 2025-1-8 发布,增加了 Matrice 4T/4E 机型支持,同时也增加了 DJI SDK 认证芯片(DJI SDK CC)功能支持。关于认证芯片的介绍大疆 SDK 认证芯片(DJI SDK Certified Chip),简称 DJI SDK CC,用于认证基于 DJI Eport/Eport-Lite 接口开发的第三方负载设备,确保设备能够正常工作并与无人机可以进行有效通信,起到负载安全认证和功能授权的作用。

热爱生活,忠于自己 2155

Databend 开源周报第 132 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 969

Visual Studio Code + MCP Server + Claude Code 三件套进行 ABAP 开发

本文介绍了如何在Visual Studio Code中利用Claude Code和SAP官方提供的MCP Server进行ABAP开发。作者分享了19年ABAP开发经验,从手动编码到如今通过自然语言生成高质量代码的技术演进。详细说明了配置步骤:启用ADT MCP Server、安装Claude Code扩展、配置.claude.json文件,并验证MCP Server的14个功能。通过实例演示了如何用自然语言指令让Claude Code创建包含冒泡排序实现和单元测试的ABAP类,展示了MCP Server在

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1303

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Databend 性能调优-基础篇

在软件基础设施领域,人们开始越来越重视代码的性能优化,在满足其可实现功能完整的同时,若可逐步去优化代码,则能在相同硬件条件下达到更好的工作效率,进一步提高业务生产效率。尤其是大数据领域,比如 OLAP 数据库通常服务于海量数据即席查询分析的场景,一些看似不起眼的底层调优却能在数据量级上进行优化叠加,从而达到优化系统整体分析查询的性能目的,可谓星星之火可以燎原。 在这里主要向大家做一个 Databend 性能调优相关的分享,共会分为三次向大家介绍,如下所示: 1、基础篇:代码调优的前置知识 2、实践篇1:Da

Databend的博客 396

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Databend 开源周报第 103 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1890

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

解析云上实时数仓的挑战与实践 | Databend @DTCC 2024 演讲回顾

8 月 22 日 ~ 24 日,由 IT168 联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第 15 届中国数据库技术大会(DTCC2024)在北京朗丽兹西山花园酒店成功召开。本次大会以“自研创新 数智未来”为主题,通过深度交流与探讨,推动数据库技术的自主创新和数智化转型。作为一家技术领先的数据仓库服务商,Databend 也在本次大会亮相。近年来,IT 技术迅猛发展,尤其是大数据领域更是日新月异。

Databend的博客 1128

Databend 开源周报第 81 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 303

统一数据底座:AI时代的数据基建范式迁移

在AI工程实践中,‘数据质量’是模型效果的底层决定因素,而传统多系统拼接的数据链路正面临耦合高、语义割裂、可信缺失三大结构性缺陷。统一数据底座并非简单替换数据库,而是以湖格式(如Iceberg/Delta Lake)为契约核心,实现Schema即第一公民、时间即统一标尺、计算与存储解耦的技术范式升级。它支撑实时-离线一致性、特征版本可追溯、GDPR合规删除等关键能力,已在金融、电商、车企等场景验证ETL周期缩短至8小时、存储成本降低73%。本文聚焦Databend+Iceberg+S3的可落地架构,直击AI

weixin_33901641的博客 424

SeaTunnel Databend Sink 连接器:配置详解、CDC 写入原理与任务实战

本篇以 SeaTunnel 的 Databend sink 连接器为主题,完整覆盖其全部 Sink 配置项、Schema/数据保存模式、数据类型映射与五类典型作业配置示例(含 CDC 与 MySQL 流式同步),并结合 `connector-databend` 模块源码深入剖析其"传统批量插入"与"CDC raw 表 + Stream + MERGE INTO"两种写入路径的实现细节,帮助你在生产

gitblog_00198的博客 869

AI时代的数据工程革命:构建统一语义数据底座

在AI驱动的实时化、语义化数据需求下,传统ETL管道因语义割裂、新鲜度不足、计算存储耦合等缺陷,正成为模型落地的核心瓶颈。统一数据底座应运而生——它以对象存储为基座、弹性计算为引擎、可编程Schema为契约、标准SQL为统一接口,实现跨源、实时、一致的数据服务。Databend凭借原生S3支持、事务性联邦查询与湖仓一体能力,成为面向大模型训练、RAG检索和实时AI推理的关键基础设施。本文聚焦其在真实AI工作负载中的语义对齐、低延迟供给与零拷贝融合实践。

cqwmy840702的博客 266

如何打造AI时代的数据基石

Databend 通过其云原生、一体化的架构,将复杂的大数据技术栈简化为以 SQL 为核心的开发体验,从根本上降低了数据开发的门槛、成本和运维负担。它不仅是一个高性能的数据仓库,更是一个内置了流处理、任务调度和强大扩展能力的数据平台操作系统。在 AI 时代,其原生及可扩展的 AI 能力进一步使其成为企业构建智能化应用的理想数据基石,完美契合了当下企业追求降本增效和快速创新的核心诉求。构建海量记忆:基于 Databend 的 2C Agent 平台|沉浸式翻译。

Databend的博客 1045

深入理解line_profiler核心组件:LineProfiler与kernprof深度解析

line_profiler是一款强大的Python性能分析工具,能够逐行测量代码执行时间,帮助开发者精确定位性能瓶颈。本文将深入解析其两大核心组件LineProfiler与kernprof,带你掌握Python代码性能优化的关键技巧。 ## LineProfiler:Python逐行性能分析的核心引擎 LineProfiler是line_profiler工具的核心类,负责实现逐行代码的执行时间

gitblog_00610的博客 860

Apache SeaTunnel 2.3.12 深度解析:Zeta 引擎优化与 SQL Transform 新特性实战

本文深度解析Apache SeaTunnel 2.3.12版本的核心优化与新特性,重点介绍Zeta引擎的算子级监控改进和SQL Transform的向量函数、COALESCE类型转换等实战技巧。通过具体配置示例和性能测试数据,展示如何提升数据处理效率,并分享生产环境调优指南与故障排查经验。

weixin_42550052的博客 353

推理性能优化技巧:DeepSeek-V4-Pro-nvfp4-DSpark 的 Gumbel-max 采样与 FP4/FP8 GEMM 内核

DeepSeek-V4-Pro-nvfp4-DSpark 是 DeepSeek-V4-Pro(1.6 万亿总参数 MoE 大模型)的 NVFP4 低精度量化版本,自带 DSpark 推测解码模块。这个仓库里藏着一份非常"硬核"的推理加速样本代码:用 **Gumbel-max 采样**消除 GPU 同步瓶颈,用 **tilelang 编写的 FP4/FP8 GEMM 内核**把矩阵乘法压到 4/8

gitblog_00911的博客 951
上一篇: Rust 并发安全相关的几个概念(上)
下一篇: Rust 并发安全相关的几个概念(下)
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值