面向现代数据湖仓的开放表格式对比分析：Iceberg、Hudi、Delta Lake与Paimon

Iceberg、Hudi、Delta Lake与Paimon对比分析

最新推荐文章于 2025-11-01 23:28:43 发布

原创

最新推荐文章于 2025-11-01 23:28:43 发布 · 1.3k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #spark #flink #big data #数据仓库

文章目录

第一章数据湖的演进：从存储到事务型平台

在数据湖仓（Data Lakehouse）时代到来之前，数据湖技术栈的核心是解决海量、异构数据的低成本存储问题。然而，第一代基于Apache Hive的表格式在为数据湖带来结构化视图的同时，也暴露了其固有的架构局限性，这些局限性阻碍了数据湖成为企业级核心数据平台。

1.1 前湖仓时代：Apache Hive的局限性

传统的Hive表格式本质上是文件系统目录与表和分区的一种元数据映射。这种设计虽然简单直观，但在可扩展性、可靠性和性能方面面临着巨大挑战。

首先，其元数据管理机制成为性能瓶颈。Hive依赖一个外部元数据存储（Metastore）来跟踪表和分区信息，但它不管理单个文件。当查询引擎需要规划一个查询时，它必须首先从Metastore获取分区位置，然后对每个相关分区执行成本高昂的目录列表（directory listing）操作，以发现底层的数据文件。在云对象存储（如Amazon S3）上，这种操作的延迟很高，并且其成本随分区数量呈线性增长（ $O (n)$ ），而非仅与查询所需的文件数量相关，这使得对大型分区表的操作异常缓慢。

其次，Hive缺乏ACID事务保证。写操作不是原子的，一个失败的作业可能会留下部分写入的数据，导致数据损坏和不一致。并发写入同一张表或分区极易导致数据冲突和损坏，而并发读取则可能看到不一致的、部分完成的写入结果。这种可靠性的缺失使得数据湖难以支持需要高数据质量的业务关键型应用。

最后，Hive在数据管理灵活性方面存在严重不足。其模式演进（Schema Evolution）能力有限，例如，在删除一列后，旧数据中该列的数据可能会以“僵尸数据”的形式重新出现。更重要的是，分区方案一旦确定便难以更改。任何对分区策略的调整，例如从按天分区改为按小时分区，都通常需要对全表数据进行成本高昂的重写和迁移。

1.2 湖仓一体的范式转移

为了克服上述挑战，业界催生了数据湖仓这一新型数据架构。数据湖仓旨在融合数据湖的低成本、开放格式、存储计算分离的灵活性与数据仓库的高性能、高可靠性与强大的数据管理能力。实现这一融合的关键技术，正是现代化的开放表格式（Open Table Formats, OTFs）。

开放表格式在对象存储上的开放文件（如Apache Parquet, ORC）之上，构建了一个事务型数据库层。它们通过自身精密的元数据管理，而非依赖文件系统的目录结构，来定义一张表的构成。这种设计从根本上解决了Hive的诸多问题。本文所分析的四种主流开放表格式——Apache Iceberg、Apache Hudi、Delta Lake和Apache Paimon——正是这一领域的杰出代表。它们通过提供ACID事务、完整的CRUD（创建、读取、更新、删除）操作支持、可扩展的元数据管理以及灵活的模式演进等功能，将数据湖从一个被动的、仅支持追加的冷数据存档，转变为一个能够同时支持传统BI分析和现代AI/ML工作负载的、活跃的、可靠的事务型数据平台。

第二章架构深度剖析

四种表格式虽然目标相似，但其底层的架构设计和核心理念却各有侧重。这些架构上的差异决定了它们在不同场景下的性能表现、功能侧重和生态契合度。

2.1 Apache Iceberg：以元数据为中心的设计

Apache Iceberg由Netflix创建并贡献给Apache基金会，其核心设计理念是通过将逻辑表与物理数据布局完全解耦，为大数据带来SQL表的可靠性和简洁性。其架构设计的首要目标是保证正确性和多引擎兼容性。

Iceberg的架构可分为三个层次：

数据层（Data Layer）：存储实际数据的层，由存储在对象存储（如S3）上的数据文件（Parquet、ORC、Avro格式）构成。除了数据文件，该层还包含用于实现行级更新的删除文件（Delete Files），包括位置删除（Positional Deletes）和等值删除（Equality Deletes）两种类型。
元数据层（Metadata Layer）：这是Iceberg架构的核心创新。它是一个由不可变文件构成的层次化树状结构，完全独立于文件系统的目录结构。
- 元数据文件（Metadata File）：通常是名为metadata.json的文件，是元数据树的根节点。它包含了表的当前模式（schema）、分区规则（partition spec）、快照历史（snapshot history）以及一个指向当前清单列表文件（manifest list）的指针。每次提交都会生成一个新的元数据文件。
- 清单列表（Manifest List）：一个Avro格式的文件，列出了构成一个快照（Snapshot）所需的所有清单文件（manifest file）。它为每个清单文件存储了统计信息，如分区边界值，这使得查询引擎可以进行快速的清单剪枝（manifest pruning），跳过不相关的清单文件。
- 清单文件（Manifest File）：同样是Avro格式的文件，它列出了构成一个表的子集的具体数据文件。清单文件包含了每个数据文件的详细统计信息，如列级别的最小值/最大值、空值计数等，这些细粒度的统计信息是实现高效数据跳过（data skipping）的关键。
目录层（Catalog Layer）：作为客户端的入口点，目录层负责跟踪并原子地更新指向当前最新元数据文件的指针。正是这个原子性的指针交换操作，保证了Iceberg提交的原子性。Iceberg支持多种目录实现，如Hive Metastore、Hadoop Catalog、以及基于REST协议的开放目录服务，这是其实现多引擎互操作性的基石。

一次Iceberg的写操作流程清晰地体现了其架构：写入器首先生成新的数据文件；然后自底向上构建元数据树，创建新的清单文件、新的清单列表文件，最后生成一个新的元数据文件；提交的最后一步是在目录层中，通过一次原子操作，将表的指针更新为指向这个新生成的元数据文件。

2.2 Apache Hudi：流式优先、时间轴驱动的架构

Apache Hudi（发音为"Hoodie"）诞生于Uber，旨在解决数据湖上增量数据处理和近实时更新的挑战。其架构的核心是围绕一个记录所有表操作的事件时间轴（Timeline）来组织的。

Hudi的核心架构组件包括：

时间轴（Timeline）：Hudi的心脏。它是一个事件日志，按时间顺序记录了在表上发生的所有操作（Action），如提交（commit）、清理（clean）、压缩（compaction）等。每个操作都表现为一个“瞬间”（Instant），并拥有一个状态（如requested、inflight、completed）。时间轴保证了操作的原子性和快照隔离。
文件布局（File Layout）：Hudi将表数据组织在一个基础路径下，内部分为多个分区。在每个分区内，数据被组织成多个文件组（File Group）。
- 文件组：由一个唯一的文件ID（File ID）标识，包含了一组记录的所有版本。
- 文件切片（File Slice）：代表了一个文件组在某个特定提交时间点的版本。一个文件切片包含一个基线文件（base file）（通常是Parquet等列式格式）以及，对于读时合并表，一组日志文件（log files）（通常是Avro等行式格式），其中包含了对基线文件的更新。
索引（Indexing）：为了实现高效的更新/插入（Upsert）操作，Hudi使用索引机制将记录的主键（Primary Key）稳定地映射到一个文件ID。一旦一条记录被写入，其主键到文件组的映射关系就不会改变，这对于快速定位和更新记录至关重要。

Hudi提供了两种核心的表类型，以平衡写入延迟和查询性能：

写时复制（Copy-on-Write, CoW）：更新操作会重写包含被更新记录的整个基线文件。这种方式写入成本较高（写放大），但读取性能好，因为数据总是处于完全合并的状态。它适用于读多写少的分析型工作负载。
读时合并（Merge-on-Read, MoR）：更新操作被追加到增量的日志文件中，而不是立即重写基线文件。读取时，查询引擎需要动态地将基线文件和日志文件进行合并。这种方式写入延迟低、吞吐高，但读取成本更高。它适用于写密集型、低延迟的流式摄入场景。

2.3 Delta Lake：以事务日志为唯一真相源

Delta Lake源自Databricks，其设计目标是为数据湖带来可靠性（ACID事务）和高性能，并与Apache Spark生态系统紧密集成。其架构简洁而强大，核心是一个基于文件的事务日志。

Delta Lake的架构主要由以下部分构成：

数据文件（Data Files）：以Parquet格式存储数据。与标准Parquet不同，Delta表支持完整的DML操作。
事务日志（Transaction Log）：位于表根目录下的_delta_log子目录，是Delta Lake的唯一真相源（Single Source of Truth）。这是一个有序的、仅支持追加的日志，由一系列JSON文件组成，每个文件代表一次原子性的事务提交（如000000.json, 000001.json等）。
- 日志条目（Log Entries）：每个JSON文件包含一组描述变更的“动作”（Action），例如add（添加一个新数据文件）、remove（逻辑删除一个旧数据文件）、metaData（记录表的模式、分区信息等）和protocol（定义读写协议版本）。
- 检查点文件（Checkpoint Files）：为了避免在读取表状态时需要遍历成百上千个JSON日志文件，Delta Lake会定期将这些JSON日志合并成一个Parquet格式的检查点文件。检查点文件记录了直到某个版本为