Spark产生小文件的原因及解决方案

一、小文件的定义

Hadoop集群中的文件都是以块（Block）的形式存储在分布式文件系统（HDFS）中的，而Block的默认大小设置随着Hadoop的版本迭代经历了64MB、128MB、256MB，其大小实际受制于磁盘/网络的传输速率。当Block的大小为128MB时，若一个文件的大小显著小于128MB，我们就称之为小文件。

二、小文件产生过多的原因

1. 写操作不当：如果在写数据时，设置的分区策略不当，或者没有指定合适的压缩策略，则可能产生大量小文件。
2. 数据倾斜：如果spark任务处理的数据，某一个分区的数据量远远大于其他分区时，可能会导致该分区产生大量小文件。
3. 其他待验证原因。

三、小文件过多的影响

1. 对NameNode产生压力：HDFS中的每个文件都需要在NameNode里维护一份元数据信息（文件目录、大小等信息），大量小文件则会占用过多的NameNode内存，影响集群稳定性。
2. 增加文件读取时间：如果某个表在HDFS中存放有大量的小文件，在访问该表获取数据时，需要先从NameNode获取元数据信息，再从DataNode读取对应数据，大量的小文件会导致频繁访问，影响读写效率。
3. 容易导致task数量过多，且影响计算性能：spark计算时，每个小文件通常被视为一个单独的分区，而spark会为每个分区启动一个或多个t