Flink从入门到精通100篇（十五）-Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略

最新推荐文章于 2024-09-10 10:26:48 发布

文宇肃然

最新推荐文章于 2024-09-10 10:26:48 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Flink从入门到精通100篇文章标签：文件合并大数据 flink

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/108317599

本文深入探讨了Flink SQL FileSystem Connector的分区提交机制，包括PartitionCommitTrigger和PartitionCommitPolicy。介绍了process-time和partition-time触发器的使用，并强调了partition-time在实际应用中的重要性。同时，详细讲解了如何自定义PartitionCommitPolicy实现小文件合并，以解决频繁写入导致的细碎文件问题。示例中展示了如何使用ParquetFileMergingCommitPolicy合并分区内的小文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现，然后用合并小文件的实例说一下自定义分区提交策略的方法。

PartitionCommitTrigger

在最新的 Flink SQL 中，FileSystem Connector 原生支持数据分区，并且写入时采用标准 Hive 分区格式，如下所示。

path└── datetime=2019-08-25    └── hour=11        ├── part-0.parquet        ├── part-1.parquet    └── hour=12        ├── part-0.parquet└── datetime=2019-08-26    └── hour=6        ├── part-0.parquet

那么，已经写入的分区数据何时才能对下游可见呢？这就涉及到如何触发分区提交的问题。根据官方文档，触发参数有以下两个：