hadoop节点添加与删除操作

最新推荐文章于 2025-03-04 23:00:14 发布
最新推荐文章于 2025-03-04 23:00:14 发布
阅读量1.6k 收藏 5
点赞数 1
分类专栏： hadoop篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/czz1141979570/article/details/86712881
版权
本文详细介绍了在Hadoop集群中添加和删除节点的步骤，包括配置新节点、更新集群配置、处理数据节点冲突以及执行refreshNodes操作。在添加节点时，遇到storage ID冲突的问题，解决方案是删除新节点的数据并重启datanode。删除节点则涉及修改多个配置文件并创建excludes文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何添加节点?

大概配置思路:

1、在新节点中进行操作系统的配置，包括主机名配置，防火墙，网络,免密登陆和安装JDK等

2、在所有的节点的/etc/hosts文件中增加新节点

3、把namenode的有关配置文件复制到该节点

4、修改master节点的slaves文件,增加该节点

5、单独启动该节点上的datanode和NodeManager

6、运行start-balancer.sh进行数据负载均衡操作

具体操作请参考:https://www.cnblogs.com/skyl/p/4854654.html 

 

问题整理:

      org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(10.0.0.105:50010, datanodeUuid=0dbe01f9-164e-4549-83df-b3cd171748e6, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-1ee9c2cb-c39d-4fc8-9664-7ff3140c3e54;nsid=1540022242;c=0) is attempting to report storage ID 0dbe01f9-164e-4549-83df-b3cd171748e6. Node 10.0.0.102:50010 i

最低0.47元/天 解锁文章
在现有的hadoop集群中增加新节点服务器
weixin_42539417的博客
04-09 2432
系列文章目录 Hadoop 集群安装部署及新增服务器节点(详细)： 现根据业务需要，需要在原有的3台完全分布式的节点增设一台新的服务器节点，以下文章正文编写了在原有的完全分布hadoop中增设新节点的部署。 文章目录系列文章目录前言一、部署步骤1.将新加节点信息补充至多台服务器的/etc/hosts中（包含新增节点自己这台服务器）2.通过前文我们写过的xsync脚本再次修改 将新增节点的信息写入到脚本文件xsync中（`注意缩进`）二、启动新增节点1.利用xsync脚本将hadoop128上的所有文件同
如何动态添加和删除Hadoop节点
为天加朵云...
02-19 665
在Hadoop集群中，动态添加和删除节点是常见的运维操作。通过动态调整集群规模，可以提高资源利用率或应对负载变化。以下是动态添加和删除Hadoop节点的详细步骤。
hadoop删除节点
weixin_34409822的博客
01-08 276
  今天在hadoop集群环境下需要将两台datanode删除，为了不影响在运行业务，需对节点进行动态删除，记录操作过程如下：   1， 从集群中移走节点，需要对移走节点的数据进行备份： 在主节点的core-site.xml配置文件中添加如下内容： <property>           <name>dfs.hosts.exclude</name>...
Hadoop集群配置（三节点）&& Hbase集群配置（三节点）保姆级步骤
最新发布
qq_45815075的博客
03-04 1257
虽然不使用完整的 Hadoop，但 HDFS 仍然属于 Hadoop 组件，因此需要下载 Hadoop 并配置 HDFS。停止所有 Hadoop 进程 (启动存在错误的时候，需要再次启动的时候，先执行停止进程的命令)替换为你的主 NameNode 服务器 IP 或主机名。jdk的JAVA_HOME自行配置，（Hadoop 3.x 之后。如果一切正常，你会看到。
Hadoop 2.6.0动态添加节点
Ran
11-28 1401
Hadoop 2.6.0动态添加节点
Hadoop 添加节点方法
weixin_33962621的博客
01-08 659
  Hadoop添加节点的方法 1.将cluster停止。 2. 在新加的节点上配置好环境，包括ssh，jdk，并将其它datanode上的hadoop和hbase文件夹全部copy过去； 3. 将新的datanode的host加到集群namenode及其他datanode中去； 4. 将新的datanode的host加到master的conf/slaves中； 5. 再次启动cluster,在...
hadoop删除节点。
weixin_30650039的博客
11-26 187
hadoop节点摘除操作： 1、确定exclude文件的位置。 <property> <name>dfs.hosts.exclude</name> <value>/data/hadoop/conf/excludes</value> <description>Names a fil...
Hadoop集群动态添加/删除节点
qq_53383349的博客
09-07 3058
一、准备新节点，命名为slave3 1、修改新节点的主机名 hostnamectl set-hostname slave3 bash 2、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 二、安装JDK 1、创建工作目录 mkdir -p /usr/java 2、解压缩（安装包位于/usr/package） cd /usr/package tar -zxvf jdk1.8.0_221.tar.gz -C /usr/
hadoop动态增加和删除节点方法介绍
09-30
1. **准备新节点**：首先，确保新节点的操作系统与集群中的其他节点一致，例如CentOS 6.7 x64。安装相同版本的Hadoop（例如2.6.3）并配置SSH互信，这可以通过复制现有DataNode的.ssh目录下的`authorized_keys`和`id_...
HADOOP添加与删除节点
renzhewudi77的博客
07-04 893
一、如何添加节点? 大概配置思路:（转载于https://blog.youkuaiyun.com/czz1141979570/article/details/86712881） 1、在新节点中进行操作系统的配置，包括主机名配置，防火墙，网络,免密登陆和安装JDK等 2、在所有的节点的/etc/hosts文件中增加新节点 3、把namenode的有关配置文件复制到该节点 4、修改master节点的sl...
hadoop删除节点和添加节点
weixin_34249678的博客
08-05 141
从hadoop移除机器把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。操作命令：在master的conf/hdfs-site.xml中加入 <property> <name>dfs.ho...
Hadoop添加删除节点
02-13 258
添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave-004 h...
hadoop增加节点
记录工作所遇问题及个人概念理解
10-13 1157
第一步，克隆一个服务器环境 第二步，修改主机名 hostnamectl set-hostname s4.hadoop 第三步，修改ip vim /etc/sysconfig/network-scripts/ifcfg-<网卡的硬件名称> cd /etc/sysconfig/network-scripts/ vim ifcfg-ens33 注意修改完文件之后用systemctl restart network.service 重启网络服务，当前的ssh就连接不上了，是因为网络IP被改变成你自己设
Hadoop 添加数据节点（datanode）
热门推荐
我思，故我在！--My data life
02-12 2万+
前提条件： 安装jdk-6u18   实现目的： 在hadoop集群中添加一个新增数据节点。     1. 创建目录和用户 mkdir /app/hadoop usergroup hadoop useradd licz -ghadoop -d /app/hadoop chownlicz:hadoop /app/hadoop   2. 修改环境变量 [licz@serve
Hadoop中添加删除数据节点
even160941的博客
08-20 1247
文章目录节点的伸缩实验环境data node节点的增加data node节点的删除hadoop(HDFS)如何保证数据安全？ 节点的伸缩 hadoop的几大特点之一就是可以根据数据量进行灵活伸缩 根据实际的业务数据量来进行灵活伸缩对于企业来说是非常有用的 hadoop主要是用来提供海量数据存储和计算的，需要java语言基础 Hadoop实现了一个分布式文件系统（Hadoop Distribute...
Hadoop删除节点（Decommissioning Nodes）
奔跑的羚羊
02-15 424
[b]1.集群配置[/b] 修改[b]conf/hdfs-site.xml[/b]文件 [code="xml"] dfs.hosts.exclude /data/soft/hadoop/conf/excludes Names a file that contains a list of hosts that are not permitted to connect...
实验-hadoop新增节点
weixin_34192732的博客
10-19 117
关于hadoop新增节点网上的说法都有些差别，自己来实践一把 1.建立一个namenode一个datanode的集群 master:192.168.126.130 slave1:192.168.126.131 2.新增一个datanode，配置JDK、SSH、hadoop、Host、hostname； slave2:192.168.126.132 3.在新增dat...
hadoop删除节点命令
07-28
要删除Hadoop集群中的节点，可以按照以下步骤进行操作： 1. 首先，将要删除的节点的状态设置为Decommissioned。可以在要移除的节点上运行相应的关闭命令，如：`./hadoop-daemon.sh stop datanode`。几分钟后，节点将从Decommissioned进入Dead状态。\[1\] 2. 在master节点的excludes文件中删除相应节点的IP地址。 3. 在slave节点上重启datanode和nodemanager进程，可以使用以下命令： ``` hadoop-daemon.sh start datanode yarn-damon.sh start nodemanager ``` 4. 在master节点上刷新节点配置情况，可以使用以下命令： ``` hadoop dfsadmin -refreshNodes ``` 请注意，以上步骤适用于Hadoop 1.x版本。对于不同版本的Hadoop，配置文件和命令可能会有所不同。具体的配置文件和命令可以参考相关版本的Hadoop官方文档的cluster setup部分。\[3\] #### 引用[.reference_title] - *1* *2* [HADOOP添加与删除节点](https://blog.youkuaiyun.com/renzhewudi77/article/details/94595039)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Hadoop动态添加/删除节点（datanode和tacktracker）](https://blog.youkuaiyun.com/yanxiangtianji/article/details/27694727)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值