hadoop经验调优

说明: 这个参数调优借鉴之尚硅谷课程

1. 配置hdfs存储多目录

生产环境的磁盘情况

问题: 需要增加的磁盘? 如何进行存储

说明:

HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值。

hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
	<value>file:///dfs/data1,
	file:///**hd2**/dfs/data2,  <!--注意这个目录的位置data1就是本地, hd2,hd3,hd4都是挂载的磁盘-->
	file:///**hd3**/dfs/data3,
	file:///**hd4**/dfs/data4</value>
</property>

注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，不需要分发

---

2. 集群数据均衡

问题: 有时候因为新添加的节点,或者是因为副本分配问题出现了数据不均衡问题
1）节点间数据均衡
开启数据均衡命令：

start-balancer.sh -threshold 10
对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不 超过10%，可根据实际情况进行调整。

（2）停止数据均衡命令