hive任务 处理小文件合并的参数配置

hive 输出端 小文件合并 参数配置

一. 小文件产生

使用hive过程中经常会遇到小文件问题：
①，在执行插入数据操作过程中，可能会产生小文件；
②，map-only作业，可能会产生小文件；
③，map-reduce作业，每个reduce输出一个文件，可能产生小文件

二. 小文件影响

1、 hdfs存储：存储过多小文件会产生大量元数据，会增加NameNode占有的空间，影响集群健康和拓展
2、 hive任务：默认情况下，hive输入端的处理每个小文件会启用一个map，一个map启用一个JVM去执行，启用map和JVM过程资源占用比例相对提高，影响性能。

三. 小文件处理

1、输入端：如果执行任务前，存在小文件，在执行map前进行小文件合并，通过设置参数

① set mapred.max.split.size=256000000;
设置：每个Map最大输入大小，这个值决定了合并后文件的数量；
② set mapred.min.split.size.per.node=100000000;
设置：一个节点上split的至少的大小，这个值决定了多个DataNode上的文件是否需要合并；
③ set mapred.min.split.size.per.rack=100000000;
设置：一个交换机下split的至少的大小，这个值决定了多个交换机上的文件是否需要合并；
④ set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
设置：输入端map合并小文件。

2、输出端：通过输出端小文件合并，减少产生的小文件数量。

① set hive.merge.mapfiles=true;
设置：启用小文件合并 - Map-Only作业，默认true；
② set hive.merge.mapredfiles=true;
设置：启用小文件合并 - Map-Reduce作业，默认false；
③ hive.merge.size.per.task=268534456；
设置：合并后所需每个文件的大小，默认256MB;这个数值是个约数，合并后文件大小会有上下浮动。
④ set hive.merge.smallfiles.avgsize=16777216;
设置：小文件平均大小合并阈值，默认16MB;
⑤ set hive.merge.sparkfiles=true;
设置：启用小文件合并 - Spark 作业，默认false;
⑥ set hive.merge.tezfiles=true;
设置：启用小文件合并 - Tez 作业，默认false;