hadoop删除DataNode节点

最新推荐文章于 2024-11-13 17:40:29 发布

原创最新推荐文章于 2024-11-13 17:40:29 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

43 篇文章

订阅专栏

本文详细介绍如何在Hadoop集群中排除特定DataNode，通过修改NameNode上的hdfs-site.xml文件，添加dfs.hosts.exclude属性，并创建dfs_exclude文件指定要排除的节点IP，最后刷新节点配置确保更改生效。

hadoop版本

hadoop-2.6.0-cdh5.15.1

删除ip为192.168.1.112的DataNode

修改NameNode节点的hdfs-site.xml，添加内容：

<property>
	<name>dfs.hosts.exclude</name>
	<value>/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/dfs_exclude</value>
</property>

在/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/目录下新建文件dfs_exclude，内容如下

192.168.1.112

将上面的修改给其他NameNode和DataNode节点都进行配置。
然后，在NameNode中执行：hdfs dfsadmin -refreshNodes

使用命令hdfs dfsadmin -report可以查看每个节点的情况

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

vincent_hahaha

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

精选资源

Hadoop集群datanode磁盘不均衡的解决方案

02-25

因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...

Hadoop集群添加、删除节点

oToyix的博客

07-06

3267

hadoop群集部署，请见上篇 https://blog.youkuaiyun.com/oToyix/article/details/118520585 一、Hadoop节点扩容随着公司业务不断的发展，数据量也越来越大，此时需要对Hadoop集群规模进行扩容，在现有Hadoop 3台集群的基础上动态增加node4服务器上的DataNode与NodeManager节点。操作方法和步骤如下： 1、Hosts及防火墙设置 node1、node2、node3、node4节点进行如下配置： cat >/etc/hosts

参与评论您还未登录，请先登录后发表或查看评论

Hadoop 添加删除数据节点（datanode）

weixin_34356555的博客

04-13

831

前提条件：添加机器安装jdk等，最好把环境都搞成一样，示例可做相应改动实现目的：在hadoop集群中添加一个新增数据节点。 1. 创建目录和用户 mkdir -p /app/hadoop groupadd hadoop useradd licz -g hadoop -d /app/hadoop chown licz:hadoop /app/hadoop ...

Hadoop 2.6.3动态增加/删除DataNode节点

weixin_30496751的博客

01-31

275

假设集群操作系统均为：CentOS 6.7 x64 Hadoop版本为：2.6.3 一、动态增加DataNode 1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2、复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode 3、在新DataNode上启动hadoop ...

hadoop 2.7 添加或删除datanode节点

weixin_34367845的博客

07-24

347

1.测试环境 ip 主机名角色 10.124.147.22 hadoop1 namenode 10.124.147.23 hadoop2 namenode 10.124.147.32 hadoop3 resourcemanager 10.124.147.33 hadoop4 resourcemanager 10.110.92.161 hadoop5 datanode...

Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)

crazy_stone0002的博客

03-07

471

动态删除DataNode(含NodeManager)节点(修改dfs.replication)【终极版】 1.ActiveNameNode修改hdfs-site.xml文件 ...

HDFS新增节点和删除datanode节点

最新发布

chanyue123的博客

11-13

797

在实际的hadoop环境中，有时我们需要新增或者删除datanode节点，来达到扩容或缩容的目的，本文就来讲解如何新增和删除datanode。所以该配置一般不配，一般只会使用exclude，不然反而麻烦，配了后新增节点都得去修改添加该配置dfs.hosts和dfs.hosts.exclude分别指向一个文件（注意是绝对路径）。下面的节点地址我们统一使用机器主机名，所以就得要机器配置了/etc/hosts的主机名和IP的映射关系。

在hadoop集群DataNode动态服役、下线节点

qq_53169545的博客

06-20

1143

启动hadoop，datanode节点启动失败：Initialization failed for Block pool.......

weixin_74606115的博客

10-16

1086

总结来说如果不删除数据和日志的话，重新格式化namenode会产生新的集群ID，这样会和datanode的集群ID产生冲突，导致namenode启动失败。其次每次的namenode format都会重新创建一个namenodeId,而data目录下则包含了上次format时的id , namenode ，format。清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所以要做的就是每次fotmat前,清空data下的所有目录（这是最保证的方法）

hadoop没有datanode节点

03-16

如果Hadoop没有Datanode节点，那么可能是以下原因之一： 1. 没有正确配置Hadoop集群：在配置Hadoop集群时，必须确保所有节点都正确配置，并且Datanode节点已经启动。 2. Datanode节点出现故障：如果Datanode节点...

运行中hadoop增加和删除datanode (*)

thomas0988

12-09

260

增加Hadoop新节点：向一个正在运行的Hadoop集群中增加几个新的Nodes 1. 新节点上部署java/hadoop程序，配置相应的环境变量 2. 新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys 3. 新节点上设置/etc/hosts，只要有本机和master的host即可 /etc/hosts 127.0.0.1 l...

Hadoop datanode添加与删除

sunshingheavy的专栏

11-19

1006

出处：http://zzhblog.sinaapp.com/?p=82 一、 Hadoop节点热拔插在Hadoop集群中经常会进行增添节点操作，即实现节点的热拔插。在这些操作中不希望对集群进行重启。 2.在集群中添加节点： a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点，执行： 1

hadoop删除节点

weixin_34409822的博客

01-08

297

今天在hadoop集群环境下需要将两台datanode删除，为了不影响在运行业务，需对节点进行动态删除，记录操作过程如下： 1，从集群中移走节点，需要对移走节点的数据进行备份：在主节点的core-site.xml配置文件中添加如下内容： <property> <name>dfs.hosts.exclude</name>...

集群间动态扩展和删除hdfs的datanode和hbase的regionserver

全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio

12-21

3139

如果你既要增加节点，又要删除节点呢，我推荐的顺序是：新增datanode，新增regionserver，停掉regionserver ，停掉datanode。如果你单独的增加或者移出呢，顺序就是上面拆开的就行啦。如果你新增机器呢，新增datanode，新增regionserver。如果你减少机器呢，停掉regionserver ，停掉datanode。所以演示的话呢，就来个全套，就是新增...

hadoop 添加删除datanode及tasktracker

chunguo.wang

02-14

183

hadoop 添加删除datanode及tasktracker 首先：建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 1、删除datanode 修改namenode上的hdfs-site.xml [code="java"...

LifeIsGood

05-16

993

hdfs滚动升级期间，删除DataNode trash目录的文件

weixin_42588555的博客

12-26

234

在HDFS滚动升级期间，删除DataNode trash目录中的文件是不建议的。这是因为在滚动升级过程中，HDFS会自动将文件从旧的DataNode转移到新的DataNode上，这可能导致文件丢失或数据不一致。在滚动升级完成之后，可以考虑清理trash目录中的文件。但是，在进行此操作之前，应该先确保HDFS集群已经稳定运行，并且所有文件都已经被正确转移到新的DataNode上。 ...

网关 0.0.0.0_hadoop 2.7 添加或删除datanode节点

weixin_39653442的博客

11-30

116

1.测试环境2.配置文件中必备参数2.1 hdfs-site.xml参数[hadoop@10-124-147-22 hadoop]$ grep dfs.host -A10 /usr/local/hadoop/etc/hadoop/hdfs-site.xmldfs.hosts.exclude/usr/local/hadoop/etc/hadoop/dfs_excludedfs.hosts/usr/l...

Hadoop在线水平增加删除datanode

Tony_老七

03-26

1179

本文讨论的是如何在线水平地增加、删除Hadoop节点