hadoop删除节点和添加节点

Hadoop集群中机器增删操作详解

最新推荐文章于 2021-09-07 19:49:55 发布

weixin_34249678

最新推荐文章于 2021-09-07 19:49:55 发布

阅读量150

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/dailidong/p/7571205.html

本文详细介绍了在Hadoop集群中如何通过修改excludes文件、刷新datanode列表、并检查decommission状态来移除机器。同时，阐述了如何在新机器上启动datanode和jobtracker进程，并在必要时执行balancer操作。操作步骤包括在master的conf/hdfs-site.xml中设置dfs.hosts.exclude属性，创建exclueds文件并指定删除节点的机器名，使用命令进行相关操作。

从hadoop移除机器

把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。

操作命令：

在master的conf/hdfs-site.xml中加入

   <property>
       <name>dfs.hosts.exclude</name>
       <value>excludes文件路径</value>
   </property>

创建exclueds文件

文件内容增加你想删除的节点的机器名，一行一个

${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果

向hadoop添加机器

启动datanode和jobtracker进程，当新添加的机器向namenode发送心跳信息后，namenode会自动感知新加入的机器，如果有必要可以做balancer操作。

操作命令：

1.在新机器上
   ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
   ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

2.为防新数据大量写到新添加的机器上，在namenode上 ${HADOOP_HOME}/bin/hdfs balancer

转载于:https://www.cnblogs.com/dailidong/p/7571205.html