如题,生产环境下可能会碰到下线服务器需求,强制关闭tasktracker or nodemanager影响的只是作业,但强制下线大于HDFS备份数的datanode就有丢数据的风险了。Hadoop提供了平滑下线的工具,本文以2.2版本为例。
一、修改配置(登录集群中任一台服务器,最好直接nn节点吧,以下线datanode为例)
1、添加(或修改)如下配置项到hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>dfshosts.exclude</value>
</property>
注:1、value值(dfshosts.exclude)
为文件名,可自定义
2、示例使用相对路径,所以需要手动在
hdfs-site.xml统计目录创建该文件。也可使用绝对路径。