Flink集成iceberg数据湖之合并小文件

背景

在传统的实时数仓中，由于列式存储相对行式存储有较高的查询性能，我们一般采用orc，parquet数据格式，但是这种列式格式无法追加，流式数据又不能等候太长时间，等到文件够了一个hdfs block块大小再写入，所以不可避免的产生了一个令人头大的问题，即小文件问题，由于使用小文件会增加namenode的压力，并且影响查询性能，所以我们在使用流式数据入库的时候一般会对小文件进行合并处理。

但是传统的流式数据入库的过程中对小文件进行合并会产生很多问题，比如流式数据不断的往hive表进行写入，如果同时有一个合并程序进行小文件的合并，那么这时候对同一份数据进行读写。会不会产生问题。如何保证事务，出错了怎么回滚呢，这些都是很棘手的问题。

我们的流任务以flink为主，查询引擎是presto，所以调研以后，我决定引入iceberg来解决小文件合并的问题。

使用

流式数据入湖

我们主要的数据来源是kafka，flink的任务主要就是消费kafka的数据，然后处理以后发送到iceberg，任务主要是以sql为主，也有部分jar包的任务，提交的方式主要是使用zeppelin来提交，使用zeppelin提交sql任务是使用的其自带的功能，提交jar包是我自己写了一个插件。

开启压缩程序

目前社区提供了一个spark版本的合并小文件的Action，我们的环境以flink为主，所以我参考spark版本把这个压缩程序改了一个flink版本，并经过测试，进行了多处bug修改和优化。目前社区新发布的1.10版本中没有带这个功能，我自己基于master分支打了一个jar，并且里面包含了flink 版本压缩小文件的程序，以及所有的优化，需要的朋友，可以 到这下载一下，https://github.com/zhangjun0x01/bigdata-examples/blob/master/iceberg/libs/iceberg-flink-runtime-0.9.1.jar 。社区版本我觉得应该会在下一