hadoop集群出现两个datanode节点互相排斥的情况解决

最新推荐文章于 2023-04-13 11:27:34 发布
原创 最新推荐文章于 2023-04-13 11:27:34 发布 · 2.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop集群 #datanode

在配置的3节点Hadoop集群中，发现datanode节点mini2和mini4存在互相排斥现象，即在管理界面中只能看到两者之一存活。经过排查，问题出在它们的datanodeUuid相同，导致节点冲突。解决方法是删除mini4的VERSION文件，重启datanode服务，问题得到解决。

我明明配置了3个节点的datanode,但是在
http://mini2:50070/dfshealth.html#tab-overview
的管理界面了只看到两天存活
Live Nodes 为 2,
Dead Nodes 为 0
我想就算有一台挂掉也不应该是这样,Dead Nodes 应该为 1才对,
然后我切换到Datanodes界面查看:
这里写图片描述

发现mini2和mini3存活, 我就刷新了几下, 发现变成了mini3和mini4存活了, 我一直刷呀刷,发现有mini2就没有mini4,有mini4就没有mini2, mini2与mini4互相排斥,
然后我上传了一个文件,结果mini2挂掉了 , 经过排查发现是我的
/root/apps/hadoop/tmp/dfs/data/current目录下了VERSION文件里:
这里写图片描述

最低0.47元/天 解锁文章
在hadoop集群DataNode动态服役、下线节点
qq_53169545的博客
06-20 1143
（2）如果你在一台节点上修改了相关的配置，记得分发到全部集群上去，确保整个集群的配置环境是一致的。（b）在第一步的条件下，将新增的datanode配置到集群，并可以在HDFS UI页面可查。②最好不要把所有的副本放到一个机架上的不同dataNode节点上（数据的安全性不那么高）（a）假设你现有的datanode有两台节点，现准备一台新的datanode。（c）在第二步的基础下，将新增的datanode杀死，并将其退出服役的截图。（3）我们需要hdfs dfs，这个是运行HDFS的文件系统。
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
weixin_58515213的博客
04-16 8857
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
hadoop2.0 2个namenode 2个datanode 部署
01-16
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
Hadoop 启动时，服务器上启动起来了两个 DataNode
热门推荐
底层码农
01-29 1万+
Hadoop 里面配置完全分布式运行模式，群起集群时配置 slaves 注意事项： /opt/module/hadoop-2.7.2/etc/hadoop/slaves [atguigu@hadoop102 hadoop]$ vi slaves 在该文件中增加如下内容： hadoop102 hadoop103 hadoop104 注意：该文件中添加的内容结尾不允许有空格，文件中不...
hadoop集群datanode冲突异常
沙与沫
09-19 1211
在配置HADOOP集群的时候，已经配好了Master和一个Slave（Slave1）,为了测试了负载均衡，于是想在该集群里添加一个新的Slave节点（Slave2）,因为实在不想再新建一个虚拟机，重新在里面安装CENTOS,然后做一系列配置。于是直接克隆了Slave1作为了新的Slave2。        修改了Slave2的配置文件后，本以为已经万事大吉。然而在启动HADOOP集群时发现dat
Hadoop集群启动后,在web:50070端口只有两个datanode节点
qq_53142796的博客
04-13 1420
集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了两个datanode。进入50070端口，发现只有hadoop1和hadoop2没有hadoop3。登录master50070端口可以看到三个结点都存在，问题解决了！先检查一下各个节点的etc/hosts文件是否都配置正确。
hadoop中的两个datanode节点的VERSION文件冲突，导致其中有一个datanode无法启动
阿伟的博客
10-20 1533
问题 分析 本来是有三个datanode才对，所以有一个datanode丢失，查看丢失的datanode的log日志 第一个报错：是datanode无法启动的报错日志 第二个报错：是因为datanode丢失，数据无法上传的报错 很奇怪的是，hadoop集群管理页面的live node为2，但是dead node节点为0，也就是没有节点死亡，按道理如果有一个datanode启动失败，那么Dead node 应该为1才对，那么出现这种问题恒可能是有两个datano...
精选资源
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
分布式环境上传测试文件出现错误There are 2 datanode(s) running and 2 node(s) are excluded in this operation.
lylg_ban的博客
04-04 2014
出现错误如下： There are 2 datanode(s) running and 2 node(s) are excluded in this operation. 有2个datanode正在运行，不包含2个节点。 前提master节点和slave1、slave2节点都已成功开启 但是上传文件还是不成功，并且报错There are 2 datanode(s) running and 2 node(s) are excluded in this operation. 解决方法： ..
hadoop datanode只能启动2个
YZJ8819的博客
03-08 951
问题描述： 集群原始组成部分为：Master、Slave1、Slave2后来有添加一台Slave3，配置完相应的文件后，启动hadoop、spark发现只启动了Slave1、Slave3两个datanode，后来停止掉hadoop服务后，再次启动，这次只启动了Slave1、Slave2，jps查看Slave3的进程也没有datanode，但是对于yarn、spark此机器确实有启动对应...
hadoop 节点链接不通、datanode无法启动问题解决
zslomo的博客
10-31 3656
datanode启动失败很可能是节点连通问题 一般来说，节点之间链接失败不外乎以下几个错误：1、之前配置过ssh，信任hosts冲突删除 ~/.ssh/konwn_host 文件# rm /root/.ssh/konwn_host因为保不齐有其他问题，实际推荐的是删除.ssh下的所有内容，然后ssh-keygen重新生成rm -rf /root/.ssh/*2、防火墙未关闭CentOS 7开始改用
启动hadoop，只有两个从节点没有DataNode的异常
qq_28286027的博客
03-31 2596
解决办法： 在从节点的logs中查看日志如下： 发现问题原因是主节点的VERSIONID和从节点不一样导致的 解决办法： 1.有重要数据情况下：把主节点的VERSIONID复制到从节点中 2.没有重要数据情况下：把主节点的hdfs文件夹都删掉 ...
datanode namenode进程只能同时工作一个
qq_43359776的博客
12-03 451
问题原因 NameNode在format初始化后会生成claserId(集群id)，在没有关闭进程或删除原有DataNode信息的情况下， 再次格式化NameNode，生成的clusterId不同，所以导致两个不能对应上。 解决办法 jps查看namenode和datanode ，先将两个关闭 删除DataNode生成的data目录和logs目录 （默认在/tmp路径下，若进行了配置要看具体配置路径） 所有相关的都要删除 执行格式化命令 ...
解决DataNode的ID相同导致开启集群查看Web界面其他节点未能连接成功
qq_45739020的博客
11-08 512
查看 vim /etc/hosts主机ip和节点的映射关系是否正确 查看 cd export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ 在打开vim slaves 是否添加节点 如果是克隆的话那么克隆的话DataNode的ID一定是相同的，会导致Web界面，识别出两个一种的唯一ID，解决办法在主节点关闭集群，在克隆的节点删除hadoopDatas...
Hadoop集群启动后，发现两个计算节点交替的启动，怎么办？
飘羽的博客
10-10 601
1、原因： 是因为这两个节点相同的 datanodeUuid导致的。 2、解决方法： （1）打开两个节点的VERSION文件查看： 命令为：vi /home/source/gjn/datanode/current/VERSION （其中“/home/source/gjn/datanode”为在hdfs-site.xml文件中配置的HDFS的集群目录）如， <property> <name>dfs.datanode.d...
惭入佳境之布置双节点DATANODE及错误解决
weixin_33778778的博客
04-10 152
先流一下口水~~~~ 传说中YAHOO用于HADOOP的机房： 推荐安装指南： http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/ 其布置多节点的思路是： 先将第一个布置好的SINGLE节点方案弄好。 然后，将第一个节点的东东复制到另一个节点。 再将第二个...
DataNode增加数据目录进行扩容以及UUID不一致问题
Ntozot的博客
11-15 2271
DataNode增加数据目录进行扩容以及UUID不一致问题 DataNode扩容DataNode增加数据目录进行扩容以及UUID不一致问题增加DataNode数据目录进行扩容重启UUID不一致问题 增加DataNode数据目录进行扩容 HDFS在使用过程中，随着使用时间的不断增长，存储的数据越来越多，可能会出现磁盘容量不够的情况，这时候可以进行扩容，增加DataNode的数据目录。笔者使用的是CD...
错误：datanode无法启动
04-14 738
查看日志如下: 2016-04-14 04:07:58,821 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to itcast01/192.168.1.201:9000. Exiting.
线程同步与相互排斥：相互排斥锁
weixin_34289744的博客
08-02 225
为什么须要相互排斥锁？ 在多任务操作系统中，同一时候执行的多个任务可能都须要使用同一种资源。这个过程有点类似于，公司部门里。我在使用着打印机打印东西的同一时候（还没有打印完）。别人刚好也在此刻使用打印机打印东西，假设不做不论什么处理的话，打印出来的东西肯定是错乱的。 以下我们用程序模拟一下这个过程。线程一须要打印“ hello ”，线程二须要打印“ world ”，...
Hadoop集群搭建中datanode节点没有了怎么弄
最新发布
06-29
在Hadoop集群搭建过程中，DataNode节点丢失是一个常见问题。通常情况下，DataNode节点丢失可能是由于配置错误、多次格式化NameNode、网络问题或存储路径异常导致的。以下是恢复或重新配置DataNode的方法。 ### 1. 检查并修复DataNode ID不一致的问题 当Hadoop集群启动时，NameNode和DataNode之间需要通过唯一标识符（ID）进行通信。如果多次执行`hdfs namenode -format`命令，会导致DataNode的ID发生变化，从而与NameNode不匹配，最终导致DataNode无法注册到NameNode。 **解决方法：** - 进入DataNode所在节点，找到`hadoop.tmp.dir`指定的目录（通常在`core-site.xml`中定义）。 - 删除`data`文件夹下的内容，该文件夹用于存储DataNode的数据。 - 重新启动DataNode服务，系统会自动生成新的ID并与NameNode同步 [^4]。 ### 2. 检查Hadoop配置文件 确保所有节点的配置文件保持一致性，尤其是以下关键配置文件： - `core-site.xml` - `hdfs-site.xml` 确认以下参数正确设置： - `fs.defaultFS` 在`core-site.xml`中指向正确的NameNode地址。 - `dfs.datanode.data.dir` 在`hdfs-site.xml`中指定的DataNode数据存储路径是否有效且具有读写权限。 ### 3. 确保SSH免密登录正常 在集群环境中，NameNode需要通过SSH连接到各个DataNode节点以执行相关操作。如果SSH免密登录配置不正确，可能导致DataNode无法正常启动。 **验证步骤：** - 使用`ssh datanode-hostname`命令测试从NameNode到DataNode的连接。 - 如果提示输入密码，则说明SSH免密配置未生效，需重新配置 [^3]。 ### 4. 更新`slaves`文件 确保NameNode上的`slaves`文件（位于Hadoop安装目录下的`etc/hadoop/slaves`）中包含所有DataNode节点的主机名或IP地址。遗漏此步骤将导致NameNode无法识别新加入的DataNode节点 [^3]。 ### 5. 检查防火墙与端口开放情况 DataNode与NameNode之间的通信依赖于特定端口（如8020、9000等）。如果防火墙阻止了这些端口的通信，DataNode将无法连接到NameNode。 **解决方法：** - 执行`systemctl stop firewalld`临时关闭防火墙进行测试。 - 若确认是防火墙问题，可使用`firewall-cmd`命令开放相应端口 [^2]。 ### 6. 查看日志文件定位具体错误 DataNode启动失败的具体原因可以通过查看日志文件来定位。日志文件通常位于`logs/`目录下，重点关注`hadoop-datanode-<hostname>.log`文件。 常见的错误包括： - 存储路径不存在或权限不足。 - 磁盘空间不足。 - 网络连接超时。 ### 示例代码：检查DataNode状态 ```bash # 登录到DataNode节点后执行以下命令 jps # 正常情况下应看到 DataNode 进程 ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值