hadoop调优之数据倾斜和小文件问题

Hadoop数据倾斜问题
maptask将大量的相同的key分配到同于一个分区中导致reducetask接受的数据大小不均衡,降低mapreduce的运行速度
Hadoop数据倾斜问题解决方案
1)设定自定义分区规则平衡reduce获取的数据
2)使用combiner合并可以大大减少数据倾斜,在可能的情况夏,Combine的目的就是聚合并精简数据
3)采用Map Join,尽量避免使用Reduce Join
4)重新设计key使分区数据比较平衡
Hadoop小文件弊端
HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。
小文件过多，在进行MR计算时，会生成过多切片，需要启动过多的MapTask。每个MapTask处理的数据量小，导致MapTask的处理时间比启动时间还小，白白消耗资源。
Hadoop小文件解决方案

1. 小文件优化的方向：
   （1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。
   （2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。
   （3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。
   （4）开启uber模式，实现jvm重用
2. Hadoop Archive
   是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少NameNode的内存使用
3. SequenceFile
   SequenceFile是由一系列的二进制k/v组成，如果为key为文件名，value为文件内容，可将大批小文件合并成一个大文件
4. CombineTextInputFormat<