三种DuckDB电子表格插件的union all查询性能对比

最新推荐文章于 2025-10-17 09:36:16 发布
原创 最新推荐文章于 2025-10-17 09:36:16 发布 · 450 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #sql #duckdb

我选取了最稳定、兼容性最好的三种：官方excel对应函数read_xlsx()、官方spatial对应函数st_read()、rusty_sheet对应函数read_sheet。
1.建立两个包含前50万和后54万的xlsx文件，用于比较。利用官方excel的copy()to进行。

D copy (from v1 order by l_orderkey,l_partkey,l_suppkey limit 500000)to '50_1.xlsx'WITH (HEADER 1);
Run Time (s): real 22.406 user 24.578125 sys 0.609375
D select count(*) from read_sheet('50_1.xlsx');
┌──────────────┐
│ count_star() │
│    int64     │
├──────────────┤
│    500000    │
└──────────────┘
Run Time (s): real 6.725 user 6.359375 sys 0.343750
D copy (from v1 order by l_orderkey,l_partkey,l_suppkey offset 500000)to '50_2.xlsx';
Run Time (s): real 22.259 user 24.625000 sys 0.484375
D select count(*) from read_sheet('50_2.xlsx',header=0);
┌──────────────┐
│ count_star() │
│    int64     │
├──────────────┤
│    548575    │
└──────────────┘
Run Time (s): real 7.590 user 7.296875 sys 0.250000

2.分别比较不同读取函数的单文件、双文件union all、更改列数、识别错误的st_read()更改数据类型的执行时间。

D select sum(l_orderkey) from(from read_sheet('50_1.xlsx') union all from read_sheet('50_2.xlsx',header=0));
┌──────────────────┐
│ sum(l_orderkey)  │
│      int128      │
├──────────────────┤
│   549457354624   │
│ (549.46 billion) │
└──────────────────┘
Run Time (s): real 13.159 user 13.875000 sys 0.531250
D select sum(l_orderkey) from read_sheet('exli2.xlsx');
┌──────────────────┐
│ sum(l_orderkey)  │
│      int128      │
├──────────────────┤
│   549457354624   │
│ (549.46 billion) │
└──────────────────┘
Run Time (s): real 15.224 user 14.453125 sys 0.609375

D select sum(l_orderkey) from(from st_read('50_1.xlsx') union all from st_read('50_2.xlsx'));
┌──────────────────┐
│ sum(l_orderkey)  │
│      int128      │
├──────────────────┤
│   549457354624   │
│ (549.46 billion) │
└──────────────────┘
Run Time (s): real 13.869 user 17.875000 sys 0.343750
D select sum(l_orderkey) from st_read('exli2.xlsx' );
┌──────────────────┐
│ sum(l_orderkey)  │
│      int128      │
├──────────────────┤
│   549457354624   │
│ (549.46 billion) │
└──────────────────┘
Run Time (s): real 19.012 user 18.750000 sys 0.250000


D select sum(l_orderkey) from read_xlsx('exli2.xlsx' );
┌──────────────────┐
│ sum(l_orderkey)  │
│      double      │
├──────────────────┤
│  549457354624.0  │
│ (549.46 billion) │
└──────────────────┘
Run Time (s): real 7.982 user 7.593750 sys 0.375000
D select sum(l_orderkey) from(from read_xlsx('50_1.xlsx') union all from read_xlsx('50_2.xlsx'));
┌──────────────────┐
│ sum(l_orderkey)  │
│      double      │
├──────────────────┤
│  549457354624.0  │
│ (549.46 billion) │
└──────────────────┘
Run Time (s): real 7.190 user 6.656250 sys 0.515625
D select sum(l_orderkey::int64) from(from read_xlsx('50_1.xlsx') union all from read_xlsx('50_2.xlsx'));
┌─────────────────────────────────┐
│ sum(CAST(l_orderkey AS BIGINT)) │
│             int128              │
├─────────────────────────────────┤
│          549457354624           │
│        (549.46 billion)         │
└─────────────────────────────────┘
Run Time (s): real 4.234 user 6.906250 sys 0.421875
D select sum(l_orderkey::int64) from read_xlsx('exli2.xlsx' );
┌─────────────────────────────────┐
│ sum(CAST(l_orderkey AS BIGINT)) │
│             int128              │
├─────────────────────────────────┤
│          549457354624           │
│        (549.46 billion)         │
└─────────────────────────────────┘
Run Time (s): real 7.900 user 7.515625 sys 0.375000

D select sum(l_orderkey::int64),sum(l_partkey::int64),sum(l_suppkey::int64) from(from read_xlsx('50_1.xlsx') union all from read_xlsx('50_2.xlsx'));
┌─────────────────────────────────┬────────────────────────────────┬────────────────────────────────┐
│ sum(CAST(l_orderkey AS BIGINT)) │ sum(CAST(l_partkey AS BIGINT)) │ sum(CAST(l_suppkey AS BIGINT)) │
│             int128              │             int128             │             int128             │
├─────────────────────────────────┼────────────────────────────────┼────────────────────────────────┤
│          549457354624           │          104867343654          │           5246691219           │
│        (549.46 billion)         │        (104.87 billion)        │         (5.25 billion)         │
└─────────────────────────────────┴────────────────────────────────┴────────────────────────────────┘
Run Time (s): real 4.183 user 6.906250 sys 0.406250
D select sum(l_orderkey),sum(l_partkey),sum(l_suppkey) from(from read_xlsx('50_1.xlsx') union all from read_xlsx('50_2.xlsx'));
┌──────────────────┬──────────────────┬────────────────┐
│ sum(l_orderkey)  │  sum(l_partkey)  │ sum(l_suppkey) │
│      double      │      double      │     double     │
├──────────────────┼──────────────────┼────────────────┤
│  549457354624.0  │  104867343654.0  │  5246691219.0  │
│ (549.46 billion) │ (104.87 billion) │ (5.25 billion) │
└──────────────────┴──────────────────┴────────────────┘
Run Time (s): real 7.217 user 6.750000 sys 0.421875
D select sum(l_orderkey),sum(l_partkey),sum(l_suppkey) from(from st_read('50_1.xlsx') union all from st_read('50_2.xlsx'));
┌──────────────────┬──────────────────┬────────────────┐
│ sum(l_orderkey)  │  sum(l_partkey)  │ sum(l_suppkey) │
│      int128      │      int128      │     int128     │
├──────────────────┼──────────────────┼────────────────┤
│   549457354624   │   104867343654   │   5246691219   │
│ (549.46 billion) │ (104.87 billion) │ (5.25 billion) │
└──────────────────┴──────────────────┴────────────────┘
Run Time (s): real 13.719 user 17.859375 sys 0.234375
D select sum(l_orderkey),sum(l_partkey),sum(l_suppkey) from(from read_sheet('50_1.xlsx') union all from read_sheet('50_2.xlsx'));
┌──────────────────┬──────────────────┬────────────────┐
│ sum(l_orderkey)  │  sum(l_partkey)  │ sum(l_suppkey) │
│      int128      │      int128      │     int128     │
├──────────────────┼──────────────────┼────────────────┤
│   549456854941   │   104867204040   │   5246689091   │
│ (549.46 billion) │ (104.87 billion) │ (5.25 billion) │
└──────────────────┴──────────────────┴────────────────┘
Run Time (s): real 13.495 user 14.000000 sys 0.812500

想从执行计划看不同插件并行度差异的原因，完全没有这方面的信息

D explain analyze select sum(l_orderkey::int64),sum(l_partkey::int64),sum(l_suppkey::int64) from(from read_xlsx('50_1.xlsx') union all from read_xlsx('50_2.xlsx'));
┌─────────────────────────────────────┐
│┌───────────────────────────────────┐│
││    Query Profiling Information    ││
│└───────────────────────────────────┘│
└─────────────────────────────────────┘
explain analyze select sum(l_orderkey::int64),sum(l_partkey::int64),sum(l_suppkey::int64) from(from read_xlsx('50_1.xlsx') union all from read_xlsx('50_2.xlsx'));
┌────────────────────────────────────────────────┐
│┌──────────────────────────────────────────────┐│
││               Total Time: 4.21s              ││
│└──────────────────────────────────────────────┘│
└────────────────────────────────────────────────┘
┌───────────────────────────┐
│           QUERY           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│      EXPLAIN_ANALYZE      │
│    ────────────────────   │
│           0 Rows          │
│          (0.00s)          │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│    UNGROUPED_AGGREGATE    │
│    ────────────────────   │
│        Aggregates:        │
│          sum(#0)          │
│          sum(#1)          │
│          sum(#2)          │
│                           │
│           1 Rows          │
│          (0.00s)          │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│         PROJECTION        │
│    ────────────────────   │
│ CAST(l_orderkey AS BIGINT)│
│ CAST(l_partkey AS BIGINT) │
│ CAST(l_suppkey AS BIGINT) │
│                           │
│        1048575 Rows       │
│          (0.01s)          │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│           UNION           │
│    ────────────────────   │
│           0 Rows          ├──────────────┐
│          (0.00s)          │              │
└─────────────┬─────────────┘              │
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│         PROJECTION        ││         PROJECTION        │
│    ────────────────────   ││    ────────────────────   │
│         l_orderkey        ││             A1            │
│         l_partkey         ││             B1            │
│         l_suppkey         ││             C1            │
│                           ││                           │
│        500000 Rows        ││        548575 Rows        │
│          (0.00s)          ││          (0.00s)          │
└─────────────┬─────────────┘└─────────────┬─────────────┘
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│         TABLE_SCAN        ││         TABLE_SCAN        │
│    ────────────────────   ││    ────────────────────   │
│    Function: READ_XLSX    ││    Function: READ_XLSX    │
│                           ││                           │
│        500000 Rows        ││        548575 Rows        │
│          (3.15s)          ││          (3.49s)          │
└───────────────────────────┘└───────────────────────────┘
Run Time (s): real 4.214 user 7.515625 sys 0.500000
D explain analyze select sum(l_orderkey),sum(l_partkey),sum(l_suppkey) from(from read_sheet('50_1.xlsx') union all fromread_sheet('50_2.xlsx'));
┌─────────────────────────────────────┐
│┌───────────────────────────────────┐│
││    Query Profiling Information    ││
│└───────────────────────────────────┘│
└─────────────────────────────────────┘
explain analyze select sum(l_orderkey),sum(l_partkey),sum(l_suppkey) from(from read_sheet('50_1.xlsx') union all from read_sheet('50_2.xlsx'));
┌────────────────────────────────────────────────┐
│┌──────────────────────────────────────────────┐│
││              Total Time: 13.04s              ││
│└──────────────────────────────────────────────┘│
└────────────────────────────────────────────────┘
┌───────────────────────────┐
│           QUERY           │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│      EXPLAIN_ANALYZE      │
│    ────────────────────   │
│           0 Rows          │
│          (0.00s)          │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│    UNGROUPED_AGGREGATE    │
│    ────────────────────   │
│        Aggregates:        │
│          sum(#0)          │
│          sum(#1)          │
│          sum(#2)          │
│                           │
│           1 Rows          │
│          (0.00s)          │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│         PROJECTION        │
│    ────────────────────   │
│         l_orderkey        │
│         l_partkey         │
│         l_suppkey         │
│                           │
│        1048574 Rows       │
│          (0.00s)          │
└─────────────┬─────────────┘
┌─────────────┴─────────────┐
│           UNION           │
│    ────────────────────   │
│           0 Rows          ├──────────────┐
│          (0.00s)          │              │
└─────────────┬─────────────┘              │
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│         PROJECTION        ││         PROJECTION        │
│    ────────────────────   ││    ────────────────────   │
│         l_orderkey        ││           499683          │
│         l_partkey         ││           139614          │
│         l_suppkey         ││            2128           │
│                           ││                           │
│        500000 Rows        ││        548574 Rows        │
│          (0.00s)          ││          (0.00s)          │
└─────────────┬─────────────┘└─────────────┬─────────────┘
┌─────────────┴─────────────┐┌─────────────┴─────────────┐
│         TABLE_SCAN        ││         TABLE_SCAN        │
│    ────────────────────   ││    ────────────────────   │
│    Function: READ_SHEET   ││    Function: READ_SHEET   │
│                           ││                           │
│        500000 Rows        ││        548574 Rows        │
│          (1.17s)          ││          (1.26s)          │
└───────────────────────────┘└───────────────────────────┘
Run Time (s): real 13.212 user 13.968750 sys 0.500000
l1t
关注
专栏目录
精选资源
高性能网页JavaScriptCanvas电子表格系统源码.zip
05-23
Web JavaScript Canvas 电子表格高性能 Web JavaScript Canvas 电子表格高性能 Web JavaScript Canvas 电子表格高性能 Web JavaScript Canvas 电子表格高性能 Web JavaScript Canvas 电子表格高性能 Web JavaScript ...
动态实时生成产品分类电子表格jQuery插件
09-10
本项目所提及的“动态实时生成产品分类电子表格jQuery插件”是一款专为电子商务平台设计的实用工具，旨在帮助开发者高效地创建和管理商品的SKU（Stock Keeping Unit，库存量单位）信息。 该插件的核心功能在于能够...
duckdb直接查询Amazon的s3a文件-s3a
10-26
# 【实用】DuckDB轻松查询S3 S3a对象存储：比Spark更轻量的大数据处理方案 ## 前言 在大数据分析中，经常需要直接查询存储在对象存储服务中的数据文件。DuckDB 作为一款轻量级的分析型数据库，提供了便捷的方式直接连接 Amazon S3 或兼容 S3 协议的存储服务（如 MinIO、阿里云 OSS 等），并执行 SQL 查询获取数据。本文将详细介绍如何在 Windows 和 Linux 环境下使用 DuckDB 直接查询 S3a 路径的文件，相比Spark等重量级框架，DuckDB提供了更轻量、更简单的解决方案。 # 生产级别已验证通过
Duckdb处理excel文件
风的专栏
07-18 843
duckdb通过xlsx扩展读写excel文件，但是不支持xls格式。将PG的数据导入到excel中, 并进行查询。使用duckdb cli工具。
最佳用SQL查询excel表格数据方法
weixin_45926932的博客
10-17 484
本文介绍了一种使用Python、Pandas和DuckDB快速处理本地Excel表格数据的方法。通过将Pandas读取的DataFrame注册为DuckDB临时表，用户可以使用SQL语句高效查询和处理数据。核心函数load_df_data实现了DataFrame的注册、SQL处理和结果表返回功能。相比纯Pandas处理，该方法显著提升了大数据量下的处理效率，且SQL语法更易上手。文章还建议了可能的优化方向，如集成Pandas读取功能或支持其他文件格式。这种方法特别适合缺乏专业数据库的小型企业从Excel过渡
DuckDB插件让psql完美输出int128。
pFx_hjxq的博客
10-12 376
DuckDB的PostgreSQL Wire Protocol插件（duckdb_pgwire）允许客户端通过PostgreSQL协议与DuckDB交互，但默认不支持。psql是PostgreSQL的官方命令行工具，其输出格式对。在duckdb_pgwire插件的类型处理模块中，添加。的序列化逻辑，确保数值转换为字符串后符合PgSQL的。这类大整数类型的处理需要特殊适配。
速刷DuckDB官网24小时-掌握核心功法
qq_35485206的博客
10-11 1374
简介DuckDB 是面向列的本地 OLAP 数据库，SQLite是面向行的本地 OLTP 数据库。duckdb是 数据分析师的得力助手，可以很好的直接读取本地的各种结构化数据文件，速度显著快于主流的Pandas等数据处理工具。 来自：https://github.com/ned2/duckpondduckdb通过加载插件可...
DuckDB读取xlsx格式数据的方法比较
l1t的专栏
08-12 1030
文章摘要：本文测试了DuckDB的Excel数据读取功能，比较了官方excel插件和社区sheetreader插件的兼容性。测试使用多种Excel文件（包括生成的带日期/小数格式的数据和基准测试文件），结果显示官方插件能读取所有文件，而社区插件仅支持部分文件。性能测试因数据兼容性问题未能完成。结论指出Excel文件格式复杂，数据类型多样，实现完全兼容具有挑战性。测试中使用了Python（pandas、duckdb等模块）进行数据准备。
DuckDB 多数据源交互
hawk2014bj的博客
10-28 1410
有了 DuckDB 跨数据源的数据处理变得非常简单，更多的数据源连接方式可以参考官网。
不同DuckDB插件对不同工具生成的xlsx文件读取速度的比较
l1t的专栏
08-15 719
实验比较了不同方式生成的xlsx文件对读取性能的影响。SharedString通过共享重复字符串减少了文件大小，但不同实现方式对性能影响显著。带SharedString的文件读取较慢。自动识别类型距离csv格式尚有差距，需要人工指定。
数据分析神器 DuckDB：用sql语句来操作数据文件，支持csv，excel，json等文件
时光清浅处，一步一安然
06-09 2019
DuckDB 是一个开源的嵌入式分析型数据库，专为高性能 OLAP（联机分析处理）场景设计。它结合了轻量级嵌入、列式存储和向量化执行引擎，在 Python 生态中因其易用性和速度备受青睐。
精选资源
Tabl_：Rhino的电子表格界面插件
02-11
Tabl_是Rhino中的电子表格界面，用于查看，编辑和导出对象属性。 对象实时链接到电子表格，允许Tabl_在对象被修改时自动更新。 欢迎在评论，问题和想法 产品特点 在Rhino中建模时，“实时”电子表格界面正在运行。...
Javscript基于Div的表格插件可定制
最新发布
10-28
开发者如果对表格插件的某些方面不满意，比如功能、性能或者扩展性，他们可以联系插件的作者进行反馈。这说明了该插件的开发者保持了一种积极的社区参与态度，希望与用户进行有效的沟通，以达到改进产品的目的。 这...
jQuery 表格插件整理
10-29
本文搜集了大量 jQuery 表格插件，帮助 Web 设计者更好地驾御 HTML 表格，你可以对表格进行横向和竖向排序，设置固定表头，对表格进行搜索，对大表格进行分页，对表格进行滚动，拖放操作等等。这些插件很多都包含...
Python中读取Excel最快的6种方法
热门推荐
Trb201012的博客
01-26 3万+
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。中定义的，当您请求字典时，它就是 tablib 返回的内容。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
测试DuckDB插件对不同格式xlsx文件的读写效率
l1t的专栏
08-20 462
本文探讨了不同工具生成的xlsx文件在标签格式上的差异及其对读取性能的影响。实验对比了DuckDB生成的xlsx文件与WPS修改后的文件，发现尽管WPS添加了非必需的spans属性导致文件更大，但在某些情况下读取速度反而更快。测试了多个插件（Excel、rusty_sheet、spatial、sheetreader）的读取性能，结果显示不同工具对标签格式的敏感度存在差异，其中sheetreader插件表现最优。研究表明，xlsx格式对标签属性的容忍度较高，但选择适当的工具能显著提升大文件处理效率。
将扩展的DuckDB自定义函数整合到一个程序
l1t的专栏
06-15 867
本文介绍了如何将多个基于DeepSeek开发的DuckDB扩展功能整合到一个交互式程序中。作者此前开发了支持高精度运算、读取PostgreSQL表、处理中文字符CSV/XLS等功能，但分散在不同程序中。通过将各功能模块的cpp文件包含到主程序，并统一注册表函数，实现了功能整合。为解决命名冲突，修改了部分代码结构。编译时链接了相关库（如xlslib、minidocx等），最终生成单一可执行文件。通过对比官方DuckDB的函数列表，可验证新增功能的正确性。这种整合提高了开发效率和使用便利性。
grafana-duckdb-datasource：实时数据分析的强大助手
gitblog_01135的博客
06-18 382
grafana-duckdb-datasource：实时数据分析的强大助手 项目介绍 Grafana DuckDB Data Source Plugin 是一款开源的数据源插件，它允许用户在 Grafana 中查询和可视化 DuckDB 数据。DuckDB 是一种进程内 SQL OLAP 数据库管理系统，能够对本地文件进行快速分析。该插件的 SQL 语法源自 PostgreSQL，因此与 Graf...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值