Flink 1.11 引入了写Hive的功能后，已经在上线了一段时间。下面就聊聊我自己对Flink 写Hive 小文件的一些问题和看法。问题1：1.Flink 写 Hive 可能会产生小文件吗？简单的说，答案是会。简单总结下Flink 读kafka写Hive的流程1.Flink 将kafka数据根据设置的分区策略，实时写入对应分区hdfs 目录的临时文件 inprogress，如下图所示。在inprogress文件的数据，通过hive是无法查询到的。2.打checkp..

1.背景 Flink 1.11支持写直接写入Hive后，流批一体进一步实现。虽然可以通过调整sink.shuffle-by-partition.enable和checkpoint时间间隔的方式尽可能地减少Flink产生的小文件，但是即使Flink 1.12加入了自动合并小文件的功能，也无法完全避免小文件的产生。 所以需要定期对Flink 写hive表的小文件进行合并。2.Hive Tez 方式 合并小文件set hive.exec.dynamic....