数据分析新星，DuckDB与Pandas处理大数据速度对比

大家好，Pandas库众所周知，适合数据分析新手入门，但在大数据面前却显得处理缓慢。相比之下，开源的DuckDB以其卓越的列式存储性能，在大数据处理上速度惊人，速度远超Pandas。而且，DuckDB配备了Python库，让熟悉SQL的用户能够快速转换，大幅提升数据处理效率，接下来看看这两者在处理超亿级数据时的性能对比。

1.Pandas与DuckDB基准测试设置

下面展示基准测试所用的数据集和Pandas与DuckDB的代码实现。测试基于 M2 Pro MacBook Pro 12/19 核、16 GB 内存设备进行。

1.1 数据集信息

所使用的数据集是纽约市出租车和豪华轿车委员会（TLC）提供的行程记录数据。这些数据是在2024年4月18日从纽约市政府官方网站获取的，可以免费使用（https://www.nyc.gov/site/tlc/about/tlc-trip-record-data.page）。有关数据使用的许可信息，可以在nyc.gov网站上查询。

1.2 基准测试目标

基准测试的目标是使用Pandas和DuckDB两个工具加载Parquet格式的数据文件，进一步计算月度统计信息，包括行程总数、平均持续时间、行驶距离、总车费以及小费金额。

为此，需要生成几个日期时间字段，依据特定时间段对数据进行筛选，并在Pandas中有效管理多级索引。

数据加载完成后，会发现要处理的数据超过1.11亿条：

对于结果，希望得到以下 DataFrame：