Hadoop运行时单个节点管理

最新推荐文章于 2024-10-20 19:18:26 发布

君临天下-霖

最新推荐文章于 2024-10-20 19:18:26 发布

阅读量461

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/c890402/article/details/22669277

本文介绍如何通过配置Hadoop的dfs.hosts.exclude属性实现节点的删除，并指导如何添加新的节点到集群中。此外，还提供了当节点无法启动时的故障排查步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

删除节点
1. 在conf/hdfs-site.xml配置dfs.hosts.exclude属性配置为具体文件，如：/usr/soft/hadoop-1.0.4/conf./excludes在此文件中配置要被去掉的节点host将配置文件和此文件每台机器上发一份，保持配置一致性
2. 执行下hadoop dfsadmin -refreshNodes即可完成
3. 执行下hadoop dfsadmin -report 来查看节点情况
添加节点
1. 和其他节点一样配置hadoop jdk ip hosts conf/slaves 等
2. 执行hadoop-daemon.sh start datanode
3. 执行 hadoop-daemon.sh start tasktracker
4. 执行 start-balancer.sh
5. 执行 start-balancer.sh threshold 5
6. 设置balancer的带宽
可能出现问题
1. 问题情形：执行了start-all.sh启动hadoop后个别节点或者部分节点的datanode无法启动，执行hadoop-daemon.sh start datanode 时启动后立马被stop了
2. 问题解决：此种问题可能是由于配置了单个节点的删除部署exclude文件但是没注释，应该将配置文件中的该节点注释掉或者删除，在执行hadoop-daemon.sh start datanode来解决。