Hadoop运行时单个节点管理

本文介绍如何通过配置Hadoop的dfs.hosts.exclude属性实现节点的删除,并指导如何添加新的节点到集群中。此外,还提供了当节点无法启动时的故障排查步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 删除节点

    1. 在conf/hdfs-site.xml配置dfs.hosts.exclude属性配置为具体文件,如:/usr/soft/hadoop-1.0.4/conf./excludes在此文件中配置要被去掉的节点host将配置文件和此文件每台机器上发一份,保持配置一致性
    2. 执行下hadoop dfsadmin -refreshNodes即可完成
    3. 执行下hadoop dfsadmin -report 来查看节点情况
  2. 添加节点
    1. 和其他节点一样配置hadoop jdk ip hosts conf/slaves
    2. 执行hadoop-daemon.sh start datanode
    3. 执行 hadoop-daemon.sh start tasktracker
    4. 执行 start-balancer.sh
    5. 执行 start-balancer.sh threshold 5
    6. 设置balancer的带宽
  3. 可能出现问题
    1. 问题情形:执行了start-all.sh启动hadoop后个别节点或者部分节点的datanode无法启动,执行hadoop-daemon.sh start datanode 时启动后立马被stop了
    2. 问题解决:此种问题可能是由于配置了单个节点的删除部署exclude文件但是没注释,应该将配置文件中的该节点注释掉或者删除,在执行hadoop-daemon.sh start datanode来解决。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值