Parquet与ORC存储格式对比分析

Apache Parquet 和 Apache ORC 都是大数据生态系统中广泛使用的列式存储格式，旨在高效地存储和处理海量数据。它们有很多相似之处，但也存在一些关键区别。

下面我将从多个维度详细对比它们的区别，并给出总结和建议。

核心相似点

首先，要理解它们为什么被拿来比较，因为它们共享许多核心优势：

1. 列式存储：与传统的行式存储（如 CSV、Avro*）不同，它们按列存储数据。这意味着当查询只涉及少数几列时，只需读取所需的列，极大地减少了 I/O 操作，加速了查询速度。
2. 高效的压缩：同一列的数据类型相同，数据模式更相似，因此压缩效率远高于行式存储。
3. ** schema 演进支持**：都支持在不破坏现有读写能力的情况下修改表结构（如添加列）。
4. 索引和统计信息：都存储了文件、 stripe/row group 和列级别的统计信息（如 min、max、count），便于查询引擎进行谓词下推，快速跳过不相关的数据块。

---

详细区别对比

特性维度	Apache Parquet	Apache ORC
诞生背景	由 Twitter 和 Cloudera 联合开发，旨在提供一个与任何数据处理框架都兼容的通用列式存储格式。	由 Hortonworks 创建，旨在优化 Hive 的读写性能，最初是专为 Hive 设计的。