（二十）Flink Paimon

数据湖、湖仓一体是当前大数据领域技术发展的重要趋势。近几年开源数据湖技术如 Apache Hudi、Apache Iceberg、Apache Paimon、DeltaLake 等不断涌现，基于湖仓一体架构的统一元数据管理、数据治理也越来越受到关注。从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，建设形成适合自身业务发展的湖仓平台。本章我们将介绍 Apache Paimon 的概念以及 Flink Paimon 相关的实现方式。

目录

Apache Paimon 简介

Apache Paimon 基本概念

Flink Paimon 实现方式

Flink SQL 客户端实现

Flink DataStream API 集成

总结

---

Apache Paimon 简介

Apache Paimon 是一个流数据湖平台，具有高速数据摄取、变更日志跟踪和高效的实时分析的能力。2022 年 1 月，Flink Table Store 诞生，孵化一年后，2023 年 1 月，产生了正式 0.3 的版本，之后从 Flink 社区迁到 Apache 社区，并改名为 Apache Paimon，不再是 Flink 存储，而是面向社区所有计算引擎的存储。

如以上架构所示：

• 读/写：Paimon 支持多种方式的数据读写和执行 OLAP 查询。

  对于读操作，它支持以多种方式获取数据：

  从历史快照中读取（批处理模式） 从最新偏移量读取（流处理模式） 以混合方式读取增量快照

  对于写操作，它支持从数据库的变更日志（CDC）进行流同步，或者从离线数据进行批量插入/覆盖。

• 生态系统：除了 Apache Flink 之外，Paimon 还支持其他计算引擎读取数据，如 Apache Hive、Apache Spark、Presto 和 Trino。

• 内部机制：在内部，Paimon 将列式文件存储在文件