2025年6月在几种单机版数据库上测试TPCH

最新推荐文章于 2025-12-01 18:34:47 发布
原创 最新推荐文章于 2025-12-01 18:34:47 发布 · 346 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #sql #github

我们选择DuckDB、GlareDB、clickhouse、datafusion-cli来测试。
本来还想测试国产的Databend
https://repo.databend.com/databend/v1.2.755-nightly/databend-v1.2.755-nightly-aarch64-unknown-linux-gnu.tar.gz
https://repo.databend.com/bendsql/v0.27.5/bendsql-aarch64-unknown-linux-musl.tar.gz
，它需要建stage，步骤比较复杂。
和闭源的cedardb
https://download.cedardb.com/latest/cedar-current-arm64.tar.xz
但还不支持对parquet文件直接查询，暂时没测。
1.利用tpchgen-rs工具生成parquet格式TPCH数据
首先需要一个rust语言编译环境，可参考这篇文章，
再下载源代码包，然后在解压缩后的目录下，运行cargo build --release编译。

选择一个目录存放文件，我选的是/par/tpch/，然后运行如下命令行生成sf4规模的数据集。

time /par/tpchgen-rs-main/target/release/tpchgen-cli -s4 --output-dir sf4-parquet --format=parquet

real	0m15.582s
user	1m2.044s
sys	0m2.060s
ls -l /par/tpch/sf4-parquet
total 1456872
-rw-r--r-- 1 root root  53985688 Jun 27 05:54 customer.parquet
-rw-r--r-- 1 root root 975758540 Jun 27 05:54 lineitem.parquet
-rw-r--r-- 1 root root      2966 Jun 27 05:54 nation.parquet
-rw-r--r-- 1 root root 262169281 Jun 27 05:54 orders.parquet
-rw-r--r-- 1 root root  27412078 Jun 27 05:54 part.parquet
-rw-r--r-- 1 root root 168886901 Jun 27 05:54 partsupp.parquet
-rw-r--r-- 1 root root      1474 Jun 27 05:54 region.parquet
-rw-r--r-- 1 root root   3581714 Jun 27 05:54 supplier.parquet

2.进入数据库各自的CLI界面，都打开计时功能，分别复制粘贴如下两个查询语句。

SELECT
    --Query01
    l_returnflag,
    l_linestatus,
    SUM(l_quantity) AS sum_qty,
    SUM(l_extendedprice) AS sum_base_price,
    SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
    SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
    AVG(l_quantity) AS avg_qty,
    AVG(l_extendedprice) AS avg_price,
    AVG(l_discount) AS avg_disc,
    COUNT(*) AS count_order
FROM
    '/par/tpch/sf4-parquet/lineitem.parquet'
WHERE
    l_shipdate <= CAST('1998-09-02' AS date)
GROUP BY
    l_returnflag,
    l_linestatus
ORDER BY
    l_returnflag,
    l_linestatus;


select 
--Query03
l_orderkey, sum(l_extendedprice * (1 - l_discount)) as revenue, o_orderdate, o_shippriority from 
'/par/tpch/sf4-parquet/customer.parquet' c, 
'/par/tpch/sf4-parquet/orders.parquet' o, 
'/par/tpch/sf4-parquet/lineitem.parquet' l
 where c_mktsegment = 'BUILDING' and c_custkey = o_custkey and l_orderkey = o_orderkey and o_orderdate < date'1995-03-15' and l_shipdate > date'1995-03-15' group by l_orderkey, o_orderdate, o_shippriority order by revenue desc, o_orderdate limit 10;

3.计算结果比较
查询1

--duckdb
┌──────────────┬──────────────┬───────────────┬─────────────────┬───────────────────┬─────────────────────┬────────────────────┬────────────────────┬──────────────────────┬─────────────┐
│ l_returnflag │ l_linestatus │    sum_qty    │ sum_base_price  │  sum_disc_price   │     sum_charge      │      avg_qty       │     avg_price      │       avg_disc       │ count_order │
│   varchar    │   varchar    │ decimal(38,2) │  decimal(38,2)  │   decimal(38,4)   │    decimal(38,6)    │       double       │       double       │        double        │    int64    │
├──────────────┼──────────────┼───────────────┼─────────────────┼───────────────────┼─────────────────────┼────────────────────┼────────────────────┼──────────────────────┼─────────────┤
│ A            │ F            │  151026307.00 │ 226509091035.52 │ 215184111589.9063 │ 223794237456.679790 │ 25.503385786855176 │  38249.95027461518 │   0.0499973943794925 │     5921814 │
│ N            │ F            │    3931226.00 │   5887988103.96 │   5593393984.5160 │   5817216592.906474 │   25.5383865812621 │   38250.0818789871 │  0.05005768706068835 │      153934 │
│ N            │ O            │  297323932.00 │ 445900037882.87 │ 423604954474.6505 │ 440557228781.029205 │ 25.500207853277455 │ 38242.947923201406 │ 0.049996762343212715 │    11659667 │
│ R            │ F            │  151132549.00 │ 226643425460.80 │ 215313759563.1301 │ 223924615047.433519 │ 25.512903862388963 │  38260.00397058022 │  0.04999442922234138 │     5923769 │
└──────────────┴──────────────┴───────────────┴─────────────────┴───────────────────┴─────────────────────┴────────────────────┴────────────────────┴──────────────────────┴─────────────┘
Run Time (s): real 1.596 user 3.024000 sys 0.228000
--glaredb
┌──────────────┬──────────────┬──────────────────┬──────────────────┬───────────────────┬─────────────────────┬────────────────────┬────────────────────┬──────────────────────┬─────────────┐
│ l_returnflag │ l_linestatus │ sum_qty          │ sum_base_price   │ sum_disc_price    │ sum_charge          │ avg_qty            │ avg_price          │ avg_disc             │ count_order │
│ Utf8         │ Utf8         │ Decimal128(38,2) │ Decimal128(38,2) │ Decimal128(38,4)  │ Decimal128(38,6)    │ Float64            │ Float64            │ Float64              │ Int64       │
├──────────────┼──────────────┼──────────────────┼──────────────────┼───────────────────┼─────────────────────┼────────────────────┼────────────────────┼──────────────────────┼─────────────┤
│ A            │ F            │     151026307.00 │  226509091035.52 │ 215184111589.9063 │ 223794237456.679790 │ 25.503385786855176 │  38249.95027461518 │   0.0499973943794925 │     5921814 │
│ N            │ F            │       3931226.00 │    5887988103.96 │   5593393984.5160 │   5817216592.906474 │   25.5383865812621 │   38250.0818789871 │  0.05005768706068835 │      153934 │
│ N            │ O            │     297323932.00 │  445900037882.87 │ 423604954474.6505 │ 440557228781.029205 │ 25.500207853277455 │ 38242.947923201406 │ 0.049996762343212715 │    11659667 │
│ R            │ F            │     151132549.00 │  226643425460.80 │ 215313759563.1301 │ 223924615047.433519 │ 25.512903862388963 │  38260.00397058022 │  0.04999442922234138 │     5923769 │
└──────────────┴──────────────┴──────────────────┴──────────────────┴───────────────────┴─────────────────────┴────────────────────┴────────────────────┴──────────────────────┴─────────────┘
Execution duration (s): 2.75739
--clickhouse
   ┌─l_returnflag─┬─l_linestatus─┬───sum_qty─┬──sum_base_price─┬────sum_disc_price─┬──────────sum_charge─┬────────────avg_qty─┬──────────avg_price─┬─────────────avg_disc─┬─count_order─┐
1. │ A            │ F            │ 151026307 │ 226509091035.52 │ 215184111589.9063 │  223794237456.67979 │ 25.503385786855176 │  38249.95027461518 │   0.0499973943794925 │     5921814 │
2. │ N            │ F            │   3931226 │   5887988103.96 │    5593393984.516 │   5817216592.906474 │   25.5383865812621 │   38250.0818789871 │  0.05005768706068835 │      153934 │
3. │ N            │ O            │ 297323932 │ 445900037882.87 │ 423604954474.6505 │ 440557228781.029205 │ 25.500207853277455 │ 38242.947923201406 │ 0.049996762343212715 │    11659667 │
4. │ R            │ F            │ 151132549 │  226643425460.8 │ 215313759563.1301 │ 223924615047.433519 │ 25.512903862388963 │  38260.00397058021 │  0.04999442922234139 │     5923769 │
   └──────────────┴──────────────┴───────────┴─────────────────┴───────────────────┴─────────────────────┴────────────────────┴────────────────────┴──────────────────────┴─────────────┘

4 rows in set. Elapsed: 2.432 sec. Processed 24.00 million rows, 974.66 MB (9.87 million rows/s., 400.81 MB/s.)
Peak memory usage: 147.13 MiB.
--datafusion-cli
+--------------+--------------+--------------+-----------------+-------------------+---------------------+-----------+--------------+----------+-------------+
| l_returnflag | l_linestatus | sum_qty      | sum_base_price  | sum_disc_price    | sum_charge          | avg_qty   | avg_price    | avg_disc | count_order |
+--------------+--------------+--------------+-----------------+-------------------+---------------------+-----------+--------------+----------+-------------+
| A            | F            | 151026307.00 | 226509091035.52 | 215184111589.9063 | 223794237456.679790 | 25.503385 | 38249.950274 | 0.049997 | 5921814     |
| N            | F            | 3931226.00   | 5887988103.96   | 5593393984.5160   | 5817216592.906474   | 25.538386 | 38250.081878 | 0.050057 | 153934      |
| N            | O            | 297323932.00 | 445900037882.87 | 423604954474.6505 | 440557228781.029205 | 25.500207 | 38242.947923 | 0.049996 | 11659667    |
| R            | F            | 151132549.00 | 226643425460.80 | 215313759563.1301 | 223924615047.433519 | 25.512903 | 38260.003970 | 0.049994 | 5923769     |
+--------------+--------------+--------------+-----------------+-------------------+---------------------+-----------+--------------+----------+-------------+
4 row(s) fetched. 
Elapsed 2.364 seconds.

查询3

--duckdb
┌────────────┬───────────────┬─────────────┬────────────────┐
│ l_orderkey │    revenue    │ o_orderdate │ o_shippriority │
│   int64    │ decimal(38,4) │    date     │     int32      │
├────────────┼───────────────┼─────────────┼────────────────┤
│   21679558 │   442394.3966 │ 1995-01-17  │              0 │
│    8443557 │   429378.6581 │ 1995-03-12  │              0 │
│   10631491 │   423595.9502 │ 1995-03-14  │              0 │
│   20841824 │   421258.0424 │ 1995-03-08  │              0 │
│   11568359 │   418888.5591 │ 1995-03-13  │              0 │
│   10725895 │   399668.4227 │ 1995-03-12  │              0 │
│   20811973 │   399662.4710 │ 1995-02-13  │              0 │
│   17937728 │   396726.3289 │ 1995-03-12  │              0 │
│    6128295 │   393717.7231 │ 1995-03-05  │              0 │
│   21236614 │   392019.3225 │ 1995-03-14  │              0 │
├────────────┴───────────────┴─────────────┴────────────────┤
│ 10 rows                                         4 columns │
└───────────────────────────────────────────────────────────┘
Run Time (s): real 0.425 user 1.832000 sys 0.296000
--glaredb
┌────────────┬──────────────────┬─────────────┬────────────────┐
│ l_orderkey │ revenue          │ o_orderdate │ o_shippriority │
│ Int64      │ Decimal128(38,4) │ Date32      │ Int32          │
├────────────┼──────────────────┼─────────────┼────────────────┤
│   21679558 │      442394.3966 │ 1995-01-17  │              0 │
│    8443557 │      429378.6581 │ 1995-03-12  │              0 │
│   10631491 │      423595.9502 │ 1995-03-14  │              0 │
│   20841824 │      421258.0424 │ 1995-03-08  │              0 │
│   11568359 │      418888.5591 │ 1995-03-13  │              0 │
│   10725895 │      399668.4227 │ 1995-03-12  │              0 │
│   20811973 │      399662.4710 │ 1995-02-13  │              0 │
│   17937728 │      396726.3289 │ 1995-03-12  │              0 │
│    6128295 │      393717.7231 │ 1995-03-05  │              0 │
│   21236614 │      392019.3225 │ 1995-03-14  │              0 │
└────────────┴──────────────────┴─────────────┴────────────────┘
Execution duration (s): 1.08639
--clickhouse
    ┌─l_orderkey─┬─────revenue─┬─o_orderdate─┬─o_shippriority─┐
 1. │   21679558 │ 442394.3966 │  1995-01-17 │              0 │
 2. │    8443557 │ 429378.6581 │  1995-03-12 │              0 │
 3. │   10631491 │ 423595.9502 │  1995-03-14 │              0 │
 4. │   20841824 │ 421258.0424 │  1995-03-08 │              0 │
 5. │   11568359 │ 418888.5591 │  1995-03-13 │              0 │
 6. │   10725895 │ 399668.4227 │  1995-03-12 │              0 │
 7. │   20811973 │  399662.471 │  1995-02-13 │              0 │
 8. │   17937728 │ 396726.3289 │  1995-03-12 │              0 │
 9. │    6128295 │ 393717.7231 │  1995-03-05 │              0 │
10. │   21236614 │ 392019.3225 │  1995-03-14 │              0 │
    └────────────┴─────────────┴─────────────┴────────────────┘

10 rows in set. Elapsed: 3.736 sec. Processed 30.60 million rows, 1.29 GB (8.19 million rows/s., 345.50 MB/s.)
Peak memory usage: 1.33 GiB.
--datafusion-cli
+------------+-------------+-------------+----------------+
| l_orderkey | revenue     | o_orderdate | o_shippriority |
+------------+-------------+-------------+----------------+
| 21679558   | 442394.3966 | 1995-01-17  | 0              |
| 8443557    | 429378.6581 | 1995-03-12  | 0              |
| 10631491   | 423595.9502 | 1995-03-14  | 0              |
| 20841824   | 421258.0424 | 1995-03-08  | 0              |
| 11568359   | 418888.5591 | 1995-03-13  | 0              |
| 10725895   | 399668.4227 | 1995-03-12  | 0              |
| 20811973   | 399662.4710 | 1995-02-13  | 0              |
| 17937728   | 396726.3289 | 1995-03-12  | 0              |
| 6128295    | 393717.7231 | 1995-03-05  | 0              |
| 21236614   | 392019.3225 | 1995-03-14  | 0              |
+------------+-------------+-------------+----------------+
10 row(s) fetched. 
Elapsed 1.233 seconds.

4.总结
从SQL兼容性看，DuckDB最好，多个表连接时不需要别名也能解析成功。为了其他数据库也能执行，我统一加上了表别名。
从表格显示看，DuckDB、GlareDB、clickhouse都能做到文本类型左对齐，数字类型右对齐，前两个还能显示数据类型。datafusion-cli统一左对齐。clickhouse自动删除末尾的0。
从执行速度看，duckdb最快，其他3种数据库都在同一水平。

l1t
关注
专栏目录
《达梦数据库TPCH 测试全流程及各步骤详解》
tangyuan12345678的博客
07-23 1211
在当今数据驱动的时代，数据库性能的优劣直接影响着企业的业务处理效率和决策速度。为了客观、公正地评估数据库在决策支持系统（DSS）场景下的性能，TPCH（Transaction Processing Performance Council - H）基准测试应运而生。TPCH 测试集通过模拟真实的商业交易环境，构建了一套包含 8 个表、22 个复杂查询的基准测试体系，能够全面考察数据库在大数据量下的查询响应速度、数据处理能力、并发性能等关键指标。
DM8达梦数据库tpch测试步骤
weixin_42018955的博客
05-24 1273
DM8达梦数据库tpch测试步骤
【数据库】性能测试--tpch
test_dog的博客
06-25 1823
数据库性能测试工具dbgen
PG系列数据库TPCH测试文档
齐天大圣数据候的博客
11-14 1416
postgresql 语法的数据库通用TPCH测试流程
tpch测试mysql_MySQL数据库之MySQL-tpch 测试工具简要手册
weixin_42287518的博客
01-30 478
本文主要向大家介绍了MySQL数据库之MySQL-tpch 测试工具简要手册 ，通过具体的内容向大家展现，希望对大家学习MySQL数据库有所帮助。tpch是TPC(Transaction Processing Performance Council)组织提供的工具包。用于进行OLAP测试，以评估商业分析中决策支持系统(DSS)的性能。它包含了一整套面向商业的ad-hoc查询和并发数据修改，强调测试...
tpch测试mysql_数据库MySQL与TPCH
weixin_39630498的博客
01-26 431
先安装: MySQL Server，再安装: MySQL Client, MySQL Query Browser, MySQL Navigator, MySQL Administrator，反正能装的我都装了，这个过程很简单2、下载TPC-H现在的最新版是2.14，一共47MB.http://www.tpc.org/tpch/spec/tpch_2_14_0.zip3、解压到虚拟机4、生成数据并加...
tpch测试mysql_数据库系统TPC-H测试方法及结果分析
weixin_42666807的博客
02-11 2503
1、引言如今，多样的交易模式以及大众消费观念的改变使得数据库应用领域不断扩大，现代的大型分布式应用系统的数据膨胀也对数据库的海量数据处理能力和并行处理能力提出了更高的要求，如何在数据呈现海量扩张的同时提高处理速度和应用系统的可用性，使客户能同时得到更高的处理速度、更高的数据可用性和更大的数据集，是数据库系统面临的一个挑战。通过TPC-H基准测试，可获得数据库单位时间内的性能处理能力，为评估数据库系...
TPCH 测试
justforid的博客
04-21 7586
目的及原理 TPCH是由TPC(Transaction Processing Performance Council)事务处理性能委员会公布的一套针对数据库决策支持能力的测试基准，通过模拟数据库中与业务相关的复杂查询考察数据库的综合处理能力，获取数据库操作的响应时间。 TPCH基准模型中定义了一个数据库模型，容量可以在1GB~10000GB的8个级别中进行选择。数据库模型包括CUSTOMER、LINEITEM、NATION、ORDERS、PART、PARTSUPP、REGION和SUPPLIER 共8张数
数据库性能基准测试——TPCC、TPCH及TPCDS的区别
热门推荐
qq_34474071的博客
03-17 1万+
针对数据库不同的使用场景TPC组织发布了多项测试标准。其中被业界广泛接受和使用的有TPC-C 、TPC-H和TPC-DS。 TPC-C 、TPC-H和TPC-DS三者的最大的一个区别是，TPCC是针对OLTP数据库进行性能测试，而TPC-H和TPC-DS是针对OLAP数据库进行测试的。 数据库处理大致可分为两大类：OLTP和OLAP。 OLTP的全称是On-line Transaction Processing，中文名称是联机事务处理。其特点是会有高并发且...
Postgresql MySQL 性能测试TPCH-环境部署
08-26
TPCH（Transaction Processing Performance Council Benchmark H）是一种工业标准的基准测试工具，用于评估数据库管理系统的性能。TPCH-环境部署是指将TPCH基准测试工具部署到Postgresql MySQL环境中，以评估数据库...
数据库MySQL与TPCH
01-19
1、安装mySQL 　先安装: MySQL Server， 　再安装: MySQL Client， MySQL Query Browser， MySQL Navigator， MySQL Administrator... 　1) 打开终端，取得root权限 2)创建MySQL用户、数据库、及授权 mysql -u root
Redis服务安装自启动(Windows版)
2509_94199043的博客
11-29 846
一般来说，一些中大型企业都会去采用 Linux 服务器来部署 Redis，而且 Redis 官方并没有提供 [Windows 版本](https://gitcode.com/gh_mirrors/wi/windows/overviewutm_source=highlight_word_gitcode&word=windows&isLogin=1 "Windows 版本")的安装包。
MySQL数据库的数据文件保存在哪？MySQL数据存在哪里
2509_94083514的博客
11-30 592
在安装好MySQL数据库使用一段时间后，会产生许多的数据库和数据。那这些数据库的数据文件存放在本地文件夹的什么位置呢一、默认位置MySQL创建的数据库实际上存储在文件系统的一个特定目录中，该目录通常为MySQL的数据目录。这个目录的默认位置依据操作系统和MySQL的安装方式不同而有所差异。、这个目录通常位于，它可能位于是个隐藏文件夹）**其中“X.X”是MySQL的版本号。目录（每个数据库都有一个与其同名的文件夹，而这个文件夹中包含了该数据库的所有表的文件，而其中的文件代表了数据库中的表。
redis基本类型 5种基本类型
yeshihouhou的博客
11-30 212
List的另一个应用就是消息队列，可以利用List的 PUSH 操作，将任务存放在List中，然后工作线程再用 POP 操作将任务取出进行执行。我们在谈基础数据结构时，讨论的是存储值的数据类型，主要包括常见的5种数据类型，分别是：String、List、Set、Zset、Hash。Redis hash 是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。
我们来学mysql -- undo log系列归档
一起学Coding
12-01 72
undo log系列归档
influx2.0+grafana
lan266548_ning的博客
11-27 437
Mac 安装 Docker（Docker Desktop）教程官方下载地址：根据你的 Mac 类型，下载对应版本：Intel。
后端在分布式存储中的元数据管理
2509_93946509的博客
11-28 474
但实际生产环境中远不止这些：数据的冷热状态、压缩标志、校验和、生命周期标签，甚至用户自定义的扩展属性，都是元数据的一部分。我们团队就吃过亏，早期设计时只考虑了基础字段，后来业务方想要实现智能分层存储，不得不对元数据表做了两次大的结构调整，那个迁移过程简直噩梦。我们现在用的是Raft共识算法，虽然写性能有些损失，但保证了数据的强一致性，运维起来也省心。按文件路径哈希是最简单的，但有个问题：同一个目录下的文件可能被散列到不同节点，做目录遍历时要跨节点查询，效率很低。全量缓存不现实，我们吃过内存溢出的亏。
我们来学mysql -- 怎样才能把“数据页”联系起来
一起学Coding
12-01 66
mysql数据页之间的关系
代码生成器
最新发布
2503_92804185的博客
12-01 207
Service 接口Service 实现类Mapper 接口（补充逆向工程未覆盖的逻辑）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值