Hadoop 生产环境集群平滑下线节点(datanode/tasktracker or nodemanager)

本文介绍了在Hadoop生产环境中如何平滑下线datanode、tasktracker或nodemanager,避免数据丢失风险。详细步骤包括修改配置、执行下线命令以及状态检查,确保集群稳定运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

如题,生产环境下可能会碰到下线服务器需求,强制关闭tasktracker or nodemanager影响的只是作业,但强制下线大于HDFS备份数的datanode就有丢数据的风险了。Hadoop提供了平滑下线的工具,本文以2.2版本为例。

一、修改配置(登录集群中任一台服务器,最好直接nn节点吧,以下线datanode为例)

1、添加(或修改)如下配置项到hdfs-site.xml

 <property>
          <name>dfs.hosts.exclude</name>
          <value>dfshosts.exclude</value> 
 </property>



注:1、value值(dfshosts.exclude) 为文件名,可自定义
2、示例使用相对路径,所以需要手动在 hdfs-site.xml统计目录创建该文件。也可使用绝对路径。

2、配置需下线的datanode

1)查看50070页面,找到需下线datanode的注册名字,即下图
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值