hdfs小文件处理-hive-spark-flink-hudi-iceberg

     大数据领域中的小文件问题，也是一个非常棘手的问题，仅次于数据倾斜问题，对于时间和性能能都是毁灭性打击。本文参考网上对于小文件问题的定义和常见系统的解决方案，给大家还原一个大数据系统中小文件问题的系统性解决方案。本文针对目前大数据领域主要的主要框架，讲解了小文件产生的原因和一些解决办法      

通用处理方式可件spark-5.spark自定义异步合并工具类

hive中小文件的处理方法

1. 使用 hive 自带的 concatenate 命令，自动合并小文件

注意：

1、concatenate 命令只支持 RCFILE 和 ORC 文件类型。

2、使用concatenate命令合并小文件时不能指定合并后的文件数量，但可以多次执行该命令。

3、当多次使用concatenate后文件数量不在变化，这个跟参数 mapreduce.input.fileinputformat.split.minsize=256mb 的设置有关，可设定每个文件的最小size。

 2. 调整参数减少Map数量

#执行Map前进行小文件合