TPCHgen-rs项目：实现直接生成Parquet文件的技术方案

TPCHgen-rs项目：实现直接生成Parquet文件的技术方案

背景介绍

TPCHgen-rs是一个用于生成TPC-H基准测试数据的Rust工具库。TPC-H是业界广泛使用的决策支持基准测试，包含8个表和22个查询，用于评估数据库系统的分析处理能力。该项目最初只能生成传统的.tbl文本格式数据，但社区提出了直接生成Parquet列式存储格式的需求。

需求分析

直接生成Parquet文件相比现有方案具有明显优势：

1. 性能提升：避免了先生成文本再转换的中间步骤
2. 用户体验：简化了工作流程，用户无需使用额外工具转换格式
3. 现代数据生态兼容性：Parquet是当前大数据生态系统的标准列式存储格式

技术实现方案

核心设计原则

项目维护者确定了几个关键设计原则：

1. 核心库保持最小依赖：tpchgen核心库不引入Parquet/Arrow等重型依赖
2. 功能分离：Parquet生成功能放在cli工具中实现
3. 性能优先：采用批量处理模式而非逐行处理

具体实现路径

1. 批量处理架构：

   • 先缓冲1000行数据到内存
   • 按列构建Arrow数组
   • 使用Arrow的Parquet写入器输出文件

2. 类型转换示例：

// 数值类型列
let l_orderkey: PrimitiveArray<Int64Type> = line_items.iter().map(|li| li.l_orderkey).collect();

// 字符串类型列
let l_returnflag: StringViewArray = line_items.iter().map(|li| li.l_return_flag).collect();

// 需要格式化的列
let mut o_clerk_builder = StringArrayBuilder::with_capacity(10000);
line_items.iter().for_each(|li| write!(o_clerk_builder, "{}", li.o_clerk).unwrap());
let o_clerk = o_clerk_builder.finish();

3. CLI接口设计：

tpchgen-cli --format parquet -s 100 --output-dir=.

技术考量

1. 性能优化：

   • 批量处理减少内存分配
   • 避免中间格式转换
   • 利用Arrow的内存格式直接写入Parquet

2. 扩展性设计：

   • 通过feature flag控制Parquet功能
   • 支持未来添加其他输出格式(如CSV)

3. 生态系统兼容：

   • 生成的Parquet模式与主流系统(如DataFusion)兼容
   • 保持与TPC-H标准的一致性

实际应用案例

已有项目(如GlareDB)开始集成tpchgen-rs作为测试数据生成器。这些实践表明：

1. 核心库的轻量级设计受到使用者欢迎
2. 灵活的API设计允许不同使用场景
3. 性能表现满足实际需求

未来方向

1. 支持更多输出格式(如CSV)
2. 优化列式生成性能
3. 增强模式自定义能力
4. 提供更细粒度的并行生成选项

这个改进使tpchgen-rs能够更好地满足现代数据分析场景的需求，同时保持了核心库的简洁性和灵活性。