了解哪些Hadoop的参数优化

1. 在 hdfs-site.xml 文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群；

2. Namenode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作

   dfs.namenode.handler.count=20*log2(cluster size)

   比如集群规模为10台，此参数设置为60

3. 编辑日志存储路径 dfs.namenode.edits.dir 设置与镜像文件存储路径 dfs.namenode.name,dir 尽量分开，达到最低写入延误；

4. 服务器节点上 YARN 可使用的物理内存总量，默认是 8192MB。注意，如果你的节点内存资源不够8GB，则需要调减少这个值，而 YARN 不会智能的探测节点的物理内存总量；yarn.nodemanager.resource.memory-mb

5. 单个任务可申请的最多物理内存量，默认是 8192MB。yarn.scheduler.maximum-allocation-mb