Hadoop动态添加节点

1 Hadoop动态添加节点

（一）设置新节点与集群NameNode的SSH无密码登录

（二）在hosts文件中添加主机名和IP地址，并将该文件同步到集群其它节点

（三）修改hadoop配置文件slaves，加入新节点的主机名

（四）在新节点通过命令hadoop-daemon.sh start datanode和yarn-daemon.sh start nodemanager启动datanode和nodemanager进程

（五）在新节点中通过命令start-balancer.sh均衡当前的HDFS块，在执行前可通过命令Hdfs dfsadmin -setBalancerBandwidth字节数 设置带宽

2 Hadoop动态删除节点

（一）在hadoop配置文件hdfs-site.xml中配置如下：

<property>

<name>dfs.hosts.exclude</name>

<value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/etc/hadoop/exclude</value>

</property>

（二）在配置文件exclude中添加需要删除的节点主机名

（三）通过命令hdfs dfsadmin -refreshNodes执行节点刷新操作

（四）通过命令hdfs dfsadmin -report可查看该节点状况

3 HBase动态添加节点

（一）在HBase的配置文件regionserver中添加新节点的主机名

（二）在新节点通过命令hbase-daemon.sh start regionserver启动HRegionServer

（三）进入hbase shell，通过命令balance_switch true进行region平衡

4 HBase动态删除节点

（一）通过命令graceful_stop.sh主机名 停止需要删除的节点

（二）在HBase的配置文件regionserver中移除删除节点的主机名