【工作笔记】Hadoop集群动态扩充节点

步骤1.

集群新节点和集群老节点配置ssh互信（具体操作可百度）；

步骤2.

集群新节点和集群老节点配置etc/hosts，此步骤非强制，建议配置； 如果不配置etc/hosts，可能会出现错误；

步骤3.

配置新集群的配置文件，主要为以下三个

hdfs-site.xml

core-site.xml

yarn-site.xml

配置和集群其他节点保持一致即可，涉及到hostname和地址的部分建议使用域名的方式；

步骤4.

启动新节点的DataNode:

./hadoop-deamon.sh start datanode

启动新节点的NodeManager:

./yarn-deamon.sh start nodemanager

在NameNode上执行：

hadoop/bin/hdfs refreshNodes

此处可能出现错误：

Datanode denied communication with namenode because hostname cannot be resolved

原因是没有配置hosts，此时可以修改修改NameNode节点的hdfs-site.xml配置文件，添加配置：

<property>

      <name>dfs.namenode.datanode.registration.ip-hostname-check</name>

      <value>false</value>

</property>

然后重启namenode

./hadoop-deamon.sh stop namenode
./hadoop-deamon.sh start namenode

完成步骤1-4以后，新节点就已经加入到集群中了