Hadoop 之 动态添加一个新节点(dataNode)到集群中(nameNode)

本文介绍了Hadoop动态添加Datanode的操作方法。包括新节点手动启动datanode和nodemanager,主节点刷新datanode节点、均衡节点,通过web UI查看新节点添加情况。还提及可能遇到的问题及解决方案,最后说明了可修改文件副本数并重启dfs集群查看变化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

  • 1、新节点操作
  • 2、主节点操作
  • 3、web UI 查看
  • 4、修改副本数

1、新节点操作

手动启动 datanode

命令:hadoop-daemon.sh  start datanode

手动启动 nodemanager

命令:yarn-daemon.sh start nodemanager

2、主节点操作

刷新datanode节点

命令:hadoop dfsadmin -refreshNodes

均衡节点

命令:start-balancer.sh

3、web UI 查看

通过 web UI 查看是否有新节点添加。

【可能会遇到的问题】

本人操作时,新节点是clone来的,此时新节点数据信息和主节点完全一样,此时web ui 上不能显示新节点的datanode 信息

解决方案

若没有新节点加入,但是jps有该进程。此时在新节点上,找到datanode的数据存放目录,删除该data 下的current 整个文件夹,此时重启整个hdfs集群,此时新节点会添加到dfs 集群中。

4、修改副本数

因为新节点的加入,可以写个文件的副本数,编辑hdfs-site.xml文件,replication 数可以增加1.

之后重启 dfs 集群,打开web ui 查看副本数增加1.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值