Hadoop优化

1.hadoop的inputformat提供了在block的基础上更细粒度控制mapper输入块的大小,设置split的大小范围。

FileInputFormat.setMaxInputSplitSize(job,size)

FileInputFormat.setMinInputSplitSize(job,size)

这种方法可以控制mapper的数量。

也可以在配置文件中配置，mapred.min.split.size。

2.推测任务。

mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution。

当所有task开始运行后，Job Tracker会统计所有任务的平均进度，如果某个task所在的node机器配置比较低或者CPU 占用很高，导致任务执行比总体任务的平均执行要慢。此时，Job Tracker会启动一个新的任务duplicate task ，这个新任务就是推测任务，原有任务和新任务哪个先执行完就把另外一个kill掉。这也是在Job Tracker页面看到任务执行成功，但是总有些任务被kill的原因。推测任务也要占用计算资源，任务执行本身很耗资源的情况下可以设置成false，禁止执行。

3.io.sort.mb

以MB为单位，默认100M，定义了map输出结果在内存中占用buffer的大小，当buffer达到一定的阈值，会启动后台线程将buffer内容写入本地磁盘(一个spill文件)。观察hadoop的日志，如果spill次数比较多说明这个缓存大小设置太低。

io.sort.spill.percent 就是上述的阈值，默认0.8。

4.io.sort.factor

这个参数表示同时打开磁盘spill并行合并的文件数，默认是10。同时打开的文件越多，不一定merge sort就越快。

当map执行完后，本地磁盘上(mapred.local.dir)有若干个spill文件，map最后做的一件事就是执行merge sort，把这些spill文件合并成一个文件(partition),自定义的partition函数，就是在这个时候调用。

merge排序的结果是两个文件，一个是index，另一个是数据文件，index文件记录了每个不同的key在数据文件中的偏移量。

5.io.file.buffer.size

设置hadoop访问文件的I/O操作的缓存大小。不论是对硬盘或者网络操作来讲，较大的缓存都可以提供更高的数据传输，但也意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数，以 byte为单位，默认为4KB。一般情况下，可以设置为64Kb。

6.dfs.balance.bandwidthPerSec

该参数定义了每个DataNode平衡操作所允许的最大使用带宽，单位byte。

HDFS平衡器检测集群中使用过度或者使用不足的DataNode，并在这些DataNode之间移动数据块来保证负载均衡。如果不对均衡操作进行带宽限制，那么它会很快抢占所有的网络资源，不会为MapReduce作业或者数据输入预留资源。

7.dfs.block.size。

HDFS中块的大小不都是一样的。dfs.block.size定义了所有新建文件的默认数据块的大小。这个参数的设定并不会影响文件系统中现有的文件。

dfs.block.size的单位是byte，默认值64MB，对于很多情况来说，128MB更加合适。

8.dfs.datanode.du.reserved

定义了每个dfs.data.dir所定义的硬盘空间需要保留的大小，单位byte，默认情况下为0，意味着HDFS可以使用每个数据硬盘的所有空间。

当DataNode向NameNode汇报可用的硬盘大小的时候，会把所有dfs.data.dir所列出的可用的硬盘大小总和发给NameNode。由于mapred.local.dir经常会跟DataNode共享可用的硬盘资源，但是我们需要为Mapreduce任务保留一些硬盘资源。

9.dfs.namenode.handler.count

默认值为10。

NameNode有一个工作线程池用来处理客户端的远程过程调用机集群守护进程调用。处理程序数量越多意味要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count。

设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20LogN，N是集群大小。

如果该值设置的太小，明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒绝。

10.dfs.datanode.failed.volumes.tolerated

定义整个DataNode声明失败前允许多少个硬盘出现故障。默认值为0。

当DataNode的任何一个本地磁盘出故障时，它的默认行为认定整个DataNode失效。一个DataNode的丢失会导致一些数据块备份数下降，因此NameNode会命令其他DataNode复制这些丢失的数据块来增加被附属。

11. dfs.host.exclude

类似dfs.hosts，HDFS可以通过指定文件把相关节点排除在外。这个文件是一个以换行符分割的列表，每行包括一个主机名或IP地址。如果一台主机先被包含在内(dfs.hosts)，又出现在排除列表中，最终的结果是被排除掉。

dfs.host.exclude还有一个作用，是卸载DataNode。