使用COALESCE和REPARTITION解决SPARK SQL（hadoop） 小文件过多的问题

背景

最近在做数仓宽表开发时，发现某些表的在hadoop（命令：hdfs dfs -ls）上小文件特别多，整体数据量不大，每个分区却有几百个小文件。而小文件太多带来的主要影响是：

1、占用过多的nameNode 资源，影响hadoop集群稳定性。一个小文件需要在nameNode中维护一份元数据（目录、大小、权限等信息） ，占用的资源是 150字节（Byte），100个小文件则占用 14.6KB。如果每天的数据都存在新的分区里，久而久之小文件会越来越多，所造成的内存压力也会越来越大。而NameNode很多情况下是单节点，且所有元数据加载在内存中，即使做了HA，所有的元数据也会存贮在一台机器上。

2、对计算性能产生影响。spark在进行计算时，每个分区都会启动一个task进行并行计算，而一个小文件算是一个分区。并行计算可以提高工作效率，但是却会占用更多的计算资源。每个小文件启动一个task，效率上肯定是不划算的。

因此必须找到问题原因，并加以解决。

产生原因

通过对这几个表进行观察，发现通用的现象是 在sql中大量使用了union all。由于union 需要去重，效率比较低，因此基于hadoop系大数据组件进行开发时，推荐使用union all。举个简单例子：

with 
tmp as (
    select * from aa
    union all