hive小文件过多问题解决

起因

数据中台当前有一张流水类表，存在3200个分区，230w个数据文件，150亿条数据，导致该表查询起来及其麻烦，更令人糟心的是，业务人员不懂查询方式，经常有人使用select *的方式查询该表，导致hiveserver2经常炸掉，极大影响集群的使用，因此，我们决定处理掉这个问题。

我们来看下是什么原因导致这个问题

首先，文件数量和大小会影响Mapper任务的数量，所以小文件越多，mapper任务越多，每个mapper任务会启动一个JVM，所以这些任务初始化和运行会消耗大量资源。而且在NameNode中每个文件大约占150字节，小文件问题会直接带来NameNode的压力巨大，从而导致HDFS的稳定性，同时对HDFS日常的数据读写带来性能下降。

解决方法

1. 从源头解决，在日增数据的脚本中加入参数设置，约束生成的小文件数量，参数示例如下

    set mapred.max.split.size=25000000;
    set mapred.min.split.size.per.node=10000000;
    set hive.hadoop.supports.splittable.combineinputformat=true;
    set mapred.min.split.size.per.rack=10000000;
    set hive.exec.compress.output=true;
    set hive.merge.mapfiles=true;
    set hive.merge.mapredfiles=true;
    set hive.merge.size.per.task=256000000;
    set hive.merge.smallfiles.avgsize=16000000;
    set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
   

附赠一份从其他地方copy过来的参数说明

参数	说明
-----	设置Map输入合并小文件的相关参数
set mapred.max.split.size=256000000	每个Map最大输入大小（这个值决定了合并后文件的数量）
set mapred.min.split.size.per.node=100000000	一个节点上split的至少的大小（这个值决定了多个DataNode上的文件是否需要合并）
set mapred.min.split.size.per.rack=100000000	一个交换机下split至少的大小（这个值决定了多个交换机上的文件是否需要合并）
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;	执行Map前进行小文件合并
-----	设置Map输出和Reduce输出进行合并的相关参数
set hive.merge.mapfiles = true	设置map端输出进行合并，默认为true
set hive.merge.mapredfiles = true	设置reduce端输出进行合并，默认为false
set hive.merge.size.per.task = 25610001000	设置合并文件的大小
set hive.merge.smallfiles.avgsize=16000000	当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件的Merge
-----	设置
set parquet.compression=GZIP	parquet格式的压缩格式
set hive.exec.reducers.bytes.per.reducer=115000000	设置运行时Reduce的数量
set hive.exec.reducers.max=120000000;	设置运行时Reduce的最大数量

2. 合并hdfs中已有的小文件，这也是本文的重点

   合并小文件有两种思路。一是使用hive的原生工具concatenate来合并小文件，sql示例如下

alter tabl