hadoop删除节点和添加节点

本文详细介绍了在Hadoop集群中如何通过修改excludes文件、刷新datanode列表、并检查decommission状态来移除机器。同时,阐述了如何在新机器上启动datanode和jobtracker进程,并在必要时执行balancer操作。操作步骤包括在master的conf/hdfs-site.xml中设置dfs.hosts.exclude属性,创建exclueds文件并指定删除节点的机器名,使用命令进行相关操作。
从hadoop移除机器

把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。

操作命令:

在master的conf/hdfs-site.xml中加入

    <property>
        <name>dfs.hosts.exclude</name>
        <value>excludes文件路径</value>
     </property>

创建exclueds文件

文件内容增加你想删除的节点的机器名,一行一个

${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果


向hadoop添加机器

启动datanode和jobtracker进程,当新添加的机器向namenode发送心跳信息后,namenode会自动感知新加入的机器,如果有必要可以做balancer操作。

操作命令:

1.在新机器上
   ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
   ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

2.为防新数据大量写到新添加的机器上,在namenode上 ${HADOOP_HOME}/bin/hdfs balancer     


转载于:https://www.cnblogs.com/dailidong/p/7571205.html

删除Hadoop集群中的节点,可以按照以下步骤进行操作: 1. 首先,将要删除节点的状态设置为Decommissioned。可以在要移除的节点上运行相应的关闭命令,如:`./hadoop-daemon.sh stop datanode`。几分钟后,节点将从Decommissioned进入Dead状态。\[1\] 2. 在master节点的excludes文件中删除相应节点的IP地址。 3. 在slave节点上重启datanodenodemanager进程,可以使用以下命令: ``` hadoop-daemon.sh start datanode yarn-damon.sh start nodemanager ``` 4. 在master节点上刷新节点配置情况,可以使用以下命令: ``` hadoop dfsadmin -refreshNodes ``` 请注意,以上步骤适用于Hadoop 1.x版本。对于不同版本的Hadoop,配置文件命令可能会有所不同。具体的配置文件命令可以参考相关版本的Hadoop官方文档的cluster setup部分。\[3\] #### 引用[.reference_title] - *1* *2* [HADOOP添加删除节点](https://blog.youkuaiyun.com/renzhewudi77/article/details/94595039)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Hadoop动态添加/删除节点(datanodetacktracker)](https://blog.youkuaiyun.com/yanxiangtianji/article/details/27694727)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值