如何对 Databend 进行基准测试

亚信科技AntDB数据库参与“国内首款”事务型性能测试工具开源发布会,树立金融技术风向标 国内首款金融数据库性能测试工具DataBench-T开源发布,亚信科技受邀进行了“亚信科技数据库测试之道”的主旨演讲 阅读详情

Databend 的设计目标之一就是保持最佳性能,为了更好观测和评估性能,社区不光提供一套简单的本地基准测试方案,还建立了可视化的持续基准测试。

本地基准测试

hyperfine 是一种跨平台的命令行基准测试工具,支持预热和参数化基准测试。Databend 建议使用 hyperfine 通过 ClickHouse / MySQL 客户端执行基准测试,本文将使用 MySQL 客户端来介绍它。

前期准备:

进行本地基准测试之前,必须完成以下几项准备工作:

  • 参照 Docs - Deploy Databend 1 完成部署。
  • 安装 MySQL 客户端。
  • 根据 hyperfine - installation2 的提示安装 hyperfine。

设计基准测试套件:

根据你的数据集特征和关键查询设计 SQL 语句,如果需要预先加载数据,请参考 Docs - Load Data 3 。

为方便示范,这里选用 Continuous Benchmarking - Vectorized Execution Benchmarking4 列出的 10 条语句,保存到 bench.sql 中。

SELECT avg(number) FROM numbers_mt(100000000000)
SELECT sum(number) FROM numbers_mt(100000000000)
SELECT min(number) FROM numbers_mt(100000000000)
SELECT max(number) FROM numbers_mt(100000000000)
SELECT count(number) FROM numbers_mt(100000000000)
SELECT sum(number+number+number) FROM numbers_mt(100000000000)
SELECT sum(number) / count(number) FROM numbers_mt(100000000000)
SELECT sum(number) / count(number), max(number), min(number) FROM numbers_mt(100000000000)
SELECT number FROM numbers_mt(10000000000) ORDER BY number DESC LIMIT 10
SELECT max(number), sum(number) FROM numbers_mt(1000000000) GROUP BY number % 3, number % 4, number % 5 LIMIT 10
复制代码

使用 bash 脚本简化流程:

下面给出一个 benchmark.sh 范本,可以简化整个基准测试流程:

#!/bin/bash

WARMUP=3
RUN=10

export script="hyperfine -w $WARMUP -r $RUN"

script=""
function run() {
        port=$1
        sql=$2
        result=$3
        script="hyperfine -w $WARMUP -r $RUN"
        while read SQL; do
                n="-n "$SQL" "
                s="echo "$SQL" | mysql -h127.0.0.1 -P$port -uroot -s"
                script="$script '$n' '$s'"
        done <<< $(cat $sql)

        script="$script  --export-markdown $result"
        echo $script | bash -x
}


run "$1" "$2" "$3"
复制代码

在这个脚本中:

  • 使用 -w/--warmup & WARMUP 在实际基准测试之前运行 3 次程序执行来预热。
  • 使用 -r/--runs & RUN 要求执行 10 次基准测试。
  • 允许指定 Databend MySQL 兼容服务的端口。
  • 允许指定输入的 SQL 文件,以及输出时的 Markdown 文件。

在使用前需要先运行 chmod a+x ./benchmark.sh 赋予其可执行权限。用法如下所示:

./benchmark.sh <port> <sql> <result>
复制代码

执行基准测试并获取结果:

在这个例子中,MySQL 兼容服务的端口是 3307 ,基准测试用到的 SQL 文件为 bench.sql , 预期的输出在 databend-hyperfine.md 。

./benchmark.sh 3307 bench.sql databend-hyperfine.md
复制代码

当然,你可以根据自己的配置和需要进行调整。

注意:下面的示例是在 AMD Ryzen 9 5900HS & 16GB RAM 配置下运行产生,仅供参考。

终端中的输出如下所示:

Benchmark 1:  "SELECT avg(number) FROM numbers_mt(100000000000)"
  Time (mean ± σ):      3.486 s ±  0.016 s    [User: 0.003 s, System: 0.002 s]
  Range (min … max):    3.459 s …  3.506 s    10 runs
复制代码

最终的结果会保存在 databend-hyperfine.md 中,如下所示。

持续基准测试

Databend 的持续基准测试由 GitHub Action + Vercel + DatabendCloud 强力驱动,在 datafuselabs/databend-perf 5 这个 repo 中开源了源代码和 Workflow。

基本介绍

项目布局:

.
├── .github/workflows    # 持续集成工作流
├── benchmarks           # YAML 格式的 SQL Query 测试套件
├── collector            # 分类存放性能数据
├── front                # 可视化前端
├── reload               # YAML 格式的 Data Load 测试套件
└── script               # 数据预处理脚本
复制代码

Workflow:

持续基准测试工作流定时计划执行,Perf Workflow 会在每天 00:25 UTC(北京时间 08:25)执行,Reload Workflow 会在每周五 08:25 UTC(北京时间 16:25)执行。

  1. 通过 GitHub API 获取当前日期和最新版本的 TAG 。
  2. 利用 perf-tool 和 DatabendCloud 进行交互,运行测试。
  3. 持久化性能数据到 databend-perf 这一 repo 中 。
  4. 执行脚本处理数据,使之生成前端需要的格式。
  5. 构建前端,完成可视化。

测试套件:

databend-perf 中的测试套件分为 Query Benchmark 和 Load Benchmark 两类,前者放在 benchmarks 目录下,后者放在 reload 目录下。测试用 YAML 格式定义:

metadata:
  table: numbers

statements:
  - name: Q1
    query: "SELECT avg(number) FROM numbers_mt(10000000000);"
复制代码

metadata 中的 table 字段是必须的,且分配给每类 benchmark 的值都唯一。statements 则只需要指定 name 和 query 。

向量化执行基准测试:

定义在 benchmarks/numbers.yaml ,一组数值计算 SQL,利用 Databend 的 numbers 表函数提供百亿级别的数据量。完整语句也可以在 Continuous Benchmarking - Vectorized Execution Benchmarking6 查看。

Ontime 常见分析场景基准测试:

定义在 benchmarks/ontime.yaml ,一组常见的空中交通分析 SQL ,基于美国交通部公开的 OnTime 数据集,共计 202,687,654 条记录。当前此基准测试不包含 JOIN 语句,Q5、Q6、Q7 均采用优化后的形式。完整语句也可以在 Continuous Benchmarking - Ontime Benchmarking 7查看。

Ontime 数据集载入基准测试:

定义在 reload/ontime.yaml ,同样基于美国交通部公开的 OnTime 数据集,通过 s3 进行 COPY INTO 。

关键语句:

COPY INTO ontime FROM 's3://<bucket>/m_ontime/' 
credentials=(aws_key_id='AWS_KEY_ID' aws_secret_key='AWS_SECRET_KEY') 
pattern ='.*[.]csv' file_format=(type='CSV' field_delimiter='\t' record_delimiter='\n' skip_header=1);
复制代码

上面 SQL 语句中的 m_ontime/ 目录即为数据集:由原来 60.8 GB 数据全部合并后,再拆分成 100 个大小相近的文件。

数据处理:

基准测试得到的数据是 Json 格式的,会分类存放到 collector 这个目录下。metadata 部分是包含表、版本、机器规格的信息;schema 部分则是对每条语句执行情况的统计,包括中位数、平均数等。示例:

{
    "metadata":{
        "table":"numbers",
        "tag":"v0.7.92-nightly",
        "size":"Large"
    },
    "schema":[
        {
            "name":"Q1",
            "sql":"SELECT avg(number) FROM numbers_mt(10000000000);",
            "min":0.305,
            "max":0.388,
            "median":0.354,
            "std_dev":0.02701407040784487,
            "read_row":10000000000,
            "read_byte":80000000000,
            "time":[
                0.315,
                0.326,
                ...
            ],
            "error":[

            ],
            "mean":0.34774024905853534
        },
        ...
    ]
}   
复制代码

经由 stript/transform.go 处理,为每个查询的对应图表聚合数据,主要强调最大、最小、均值、中位数四个指标。

示例:

{
    "title":"Q1",
    "sql":"SELECT avg(number) FROM numbers_mt(10000000000);",
    "lines":[
        {
            "name":"min",
            "data":[
                3.084,
                3.097,
                3.043,
                ...
            ],
        ...
        }
    ],
    "version":[
        "v0.7.0-nightly",
        "v0.7.1-nightly",
        "v0.7.2-nightly",
        ...
    ],
    "legend":[
        "min",
        ...
    ], 
    "xAxis":[
        "2022-03-28",
        "2022-03-29",
        "2022-03-30",
        ...
    ],
}
复制代码

可视化:

目前可视化方案采用 React + Echarts 实现,每个图表都对应上面处理得到的一个 Json 文件。在添加新的基准测试后,无需修改前端即可展现新的图表。

Graphs: 

  • 以折线图的形式展示性能变化,并支持通过拖动图表下方的选择器调整展示的时间区间。
  • 横轴为日期,纵轴为执行用时,鼠标悬浮到上方即可查看当次执行的信息。

Compare: 

  • 支持任选两天对比执行用时的变化,以百分比形式展示。

Status: 

  • 关注当前最新性能测试结果中各指标的情况,以柱型图展示。
  • 横轴为不同类型,纵轴为执行用时。

后续优化

目前 perf.databend.rs 为 Databend 提供了基本的持续性能监控方案,但仍然需要关注以下几个方向的内容:

  • 选取更有代表性的指标:执行次数较少(只有 10 次),可供选择的指标可能不够具有代表性。例如:将次数提高到 100 次以获取 P90 来替代当前使用的中位数可能是比较合适的。
  • 增加性能测试场景的覆盖:后续可以继续新增对其他数据集和场景的性能测试,比如 ssb 、hits 。
  • 丰富性能监控的方向:监控 IO 和网络性能表现,对部分重点查询提供额外的性能评估,比如解析 Json 的性能表现。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

文章首发于公众号:Databned

 

Footnotes

  1. databend.rs/doc/deploy ↩

  2. github.com/sharkdp/hyp… ↩

  3. databend.rs/doc/load-da… ↩

  4. databend.rs/doc/contrib…   ↩

  5. github.com/datafuselab… ↩

  6. databend.rs/doc/contrib… ↩

  7. databend.rs/doc/contrib… ↩

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

相关推荐

Databend 的安装配置和使用

了解新型数据库,介绍 Databend 的安装配置和使用。

小发菜 1720

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

databench_spark_test:一起使用 PySpark 和 Databench 的演示

数据台和 Spark 此演示在本地运行pyspark并与接口。 在 Mac 上,运行brew install apache-spark来安装spark和pyspark 。 作为测试,您可以运行pyspark helloworld_standalone.py 。 对于 Databench,运行pip install -r requirements.txt然后运行databench 。 这是使用 Databench 0.3.9 和 Spark 1.2.0 进行测试的。 mcrisk示例基于 Scala/Spark 中的代码,Sandy Ryza 在 Cloudera 博客文章中对此进行了解释: 。 文章说“通过将密度结果提取到电子表格中生成的图表”,这里是使用 Databench 自动化的。 使用 Databench 进行 Spark 分析的最小 Dockerfile FROM do

数据库基准测试(Database Benchmarking) 说明

1   TPC概述 对数据库和服务器进行压力测试或者做对比的时候,都是经常会使用HammerDB 或者 Benchmark之类的工具,而且最常用TPCC的标准进行测试。     这里说的TPCC,前3个字母是:TPC 是Transaction Processing Council(事务处理委员会),其提供了量化的方法和标准。     所以我们说的TPCC就是其中一种测试方法。       TPC的

David Dai -- Focus on Oracle 2万+

Android 13 录音APK在后台无数据的处理

未获取到录音数据

chenchen4310的博客 1185

AI提示词实战:用EARS语法5步搞定产品需求拆解(附完整案例)

本文详细介绍了如何运用EARS语法将模糊的产品需求进行原子化拆解,转化为清晰、可执行的结构化指令。通过一个完整的自由职业者项目管理工具案例,演示了从原始需求分析到构建增强AI提示词的五步实战流程,帮助产品经理和技术人员实现高效、精准的需求传达与协作。

nokia的博客 1041

TPC-H 基准测试:Databend Cloud 与 Snowflake 对比

TPC-H 基准测试是评估决策支持系统的标准,专注于复杂查询和数据维护。在这项分析中,我们使用 TPC-H SF100(SF1 = 600万行)数据集比较了 Databend Cloud 和 Snowflake,该数据集包含 100GB 数据和大约 6 亿行,跨越 22 个查询。记住,不要只是相信我们的话 —— 我们鼓励您自己运行并验证这些结果。我们的基准测试虽然受到 TPC-H 的启发,但与官方 TPC-H 结果不直接可比。TPC 基准测试™ 和 TPC-H™ 是交易处理性能委员会(

Databend的博客 703

Simulink/Requirements Toolbox 学习(一):概述

编写、导入、导出需求并使需求正式化;两种创建需求的模块:需求编辑器、需求透视;描述需求的方式:文本、图像和关键字;通过导入和导出需求文件,与第三方需求管理工具(例如 Microsoft Word、Microsoft Excel®、IBM DOORS和 IBM DOORS Next)集成。涉及模块:Requirements Eidtor、Requirements Table等;

861

Databend 开源周报第 133 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1239

华为防火墙双ISP出口实战:如何用策略路由实现电信联通流量自动切换(附配置截图)

本文详细解析了华为防火墙在双ISP环境下的智能选路技术,通过策略路由与健康检测的深度应用,实现电信联通流量的自动切换。文章包含实战配置截图,帮助企业解决切换延迟、路径劣化等核心挑战,提升业务连续性。

backprop5master的博客 646

基于多智能体深度强化学习的空地协同通信系统轨迹设计与访问控制

所属子方向: UAV assisted communication 名词注释 coordinated:协调、协同 base stations 基站,公用移动通信基站,是移动设备接入互联网的接口设备,是指在一定的无线电覆盖区中,通过移动通信交换中心,与移动电话终端之间进行信息传递的无线电收发信电台。 UAV-BS:无人机基站 cooperative-competitive game:合作竞争博弈 throughput :吞吐量,每秒比特数 bps,bits per second Determinis

skysys的研究小屋 4970

Databend 开源周报第 136 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1017

ESP32-BLE学习1-建立简单的server

start 学习之前,我想尝试使用ESP32的demo建立一个简单的server与手机接进行最基本的数据通信。 这里有BLE的简单讲解BLE资料 因为BLE的连接是具有主从机特性的,就像SPI,USB一些请求只能由主机端发起,连接也需要主机端发起。所以手机要想连上ESP32,就得将ESP32设置为从机模式。 从资料上可以看到,从机端通过Notify通知主机,所以从机就是GATT Server。 在进行ESP32 的demo学习之前,得大体看下ESP32的蓝牙组成,ESP32支持经典蓝牙和低功耗蓝牙4.2,

Spark的博客 1845

Databend 开源周报第 88 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 671

【DeepSeek开发入门】DeepSeek API 开发初体验

在人工智能蓬勃发展的时代,DeepSeek作为一款功能强大的AI大模型,为开发者提供了丰富的接口和便捷的开发体验。本文将基于DeepSeek的几个关键接口,带你快速入门,开启DeepSeek开发的探索之旅。通过本文,你已经初步了解了DeepSeek开发中几个重要接口的使用方法,包括列出模型、对话补全和查询余额接口,以及开发过程中的常见问题及解决办法。这是你踏入DeepSeek开发领域的第一步。在后续的学习中,你可以深入研究模型的参数调优,探索不同模型在各种场景下的应用,如利用模型实现更复杂的推理对话功能。

寻道AI,探索AI无限可能! 2774

冷门但实用:Python爬取微信公众号历史文章,突破微信反爬限制(2025有效)

2025年微信公众号爬取的核心是「冷门方法+指纹伪装」,而非常规接口破解,itchat-uos+Playwright组合是突破设备指纹的关键;登录态持久化、动态Token实时获取、频率严格控制是避免被封禁的三大核心;文章内容解析需解决2025新增的编码混淆问题,chardet+BeautifulSoup是冷门但有效的方案;合规是前提,爬取频率、数据用途需严格遵守平台/法律规则。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 3787

Databend Cloud化简大数据架构完全指南:从多组件堆叠到两组件架构的实践路径

本文将系统解析Databend Cloud化简大数据架构的核心思路、技术实现与量化收益。

搞定过:百亿级数据、万级QPS、零宕机、AI工业化。 372

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Databend 的算力可扩展性

作者:尚卓燃(PsiACE)澳门科技大学在读硕士,Databend 研发工程师实习生对于大规模分布式数据处理系统,为了更好应对数据、流量、和复杂性的增长,需要对系统的可扩展性加以重视。可拓展性代表一种预期,即在现有软件和硬件水平无法满足工作负载的时候,通过扩展系统可以进一步满足工作负载的需要。Databend 是一款现代化的云原生数据仓库,旨在通过弹性和可扩展的架构提供高效的数据分析能力。

Databend的博客 958

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

ClickBench 性能优化实战:5个隐藏参数让测试效率提升300%

ClickBench作为业界领先的分析型数据库基准测试工具,为数据库性能评估提供了标准化的测试框架。本文将为您揭秘5个关键的隐藏参数配置技巧,帮助您将ClickBench测试效率提升300%!🚀 ## 📊 为什么ClickBench测试效率如此重要? 在当今数据驱动的时代,分析型数据库的性能直接关系到企业的决策效率和业务响应速度。ClickBench作为权威的基准测试工具,能够全面评估数据

gitblog_00032的博客 945

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

【活动回顾】Databend 云数仓与 Databend Playground 扩展组件介绍

Databend 是一款使用 Rust 研发的新一代云原生数据仓库,完全面向云架构并基于对象存储构建。它具备即时扩缩容能力,能够在数分钟内增加数百倍的算力,为企业提供了一个基于对象存储、湖仓一体化、计算和存储分离的大数据管理和分析集中式平台。实现了一份数据,统一计算入口,供多用种业务使用,从而助力企业更准确地洞察业务、制定战略,很好的满足了客户私有化部署的不同需求。

Databend的博客 959

Databend 为什么使用 Rust 开发?

11 月 30 日,Rust China Tour 武汉站在武汉恺德光谷城际酒店举行。本次活动汇聚了来自 Databend、GreptimeDB、华中科技大学的多位 Rust 技术专家和研究者,共同探讨 Rust 语言在前沿技术中的创新应用。Databend 数据库研发工程师张祖前在活动中带来主题演讲《云原生数仓 Databend 的 Rust 开发实践》,重点探讨 Databend 的设计与开发过程,为何选择 Rust 进行开发,以及在使用 Rust 开发过程中的心得与经验。

Databend的博客 1314

Databend in 2022

社区同学为 Databend 实现了 SQLancer 所支持的 TLP、QPS、NoREC 全部三种测试方案,并以及合并到上游的 main 分支之中,发现并修复数十处潜在的 Bug ,进一步保障了 Databend 执行的正确性。生态和用户是相辅相成的,繁荣的生态可以吸引更多用户体验和参与到 Databend 社区之中,而随着用户需求的进一步落地,生态也能够获得更加长足的进步。用户是 Databend 赖以成长的土壤,不光支持着 Databend 的开发,也为 Databend 社区注入了更多活力。

Databend的博客 823

Databend 开源周报第 139 期

📢 Databend 现已默认启用全新聚合哈希表实现,在 Hits 基准测试中单条查询性能提升最高达 40%!是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 1370

Databend 开源周报第 125 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 961

Databend 开源周报第 93 期

是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。。

Databend的博客 563

从 Snowflake 到 Databend Cloud:全球游戏平台借助 Databend 实现实时数据处理

导读:某全球游戏平台为全球数百万玩家提供实时的技能型游戏体验与无缝的实时互动。对该游戏平台而言,保持数据的实时更新和实时分析,对提升玩家互动和留存率至关重要。他们在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战,且成本居高不下。为了更高效地实现实时数据分析,该平台从 Snowflake 迁移到 Databend Cloud,成本降低了 50%,实现了具有秒级任务支持的实时数据 ELT 过程,提供实时数据洞察。某游戏公司是一家全球游戏平台,擅长为全球数百万玩家提供实时的技能型游戏体验。

Databend的博客 837
上一篇: 如何为 Databend 添加新的测试
下一篇: 100 行代码的压缩前缀树:50% smaller
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值