hadoop集群中部分datanode有进程但不是active

最新推荐文章于 2025-05-06 11:03:23 发布
最新推荐文章于 2025-05-06 11:03:23 发布
阅读量1.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/drhhyh/article/details/44308731
本文介绍了Hadoop集群中出现CID冲突的问题及解决方法。具体表现为datanode drh02出现问题，而drh03正常，二者CID相同。通过修改datanode的CID解决了该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


发现drh02是有问题的  并且drh03没有 （drh02和drh03datanode的cid相同）


org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(192.168.68.103, datanodeUuid=000c785c-633b-42ae-8eaa-4f1b0f8bb550, infoPort=50075, ipcPort=50020, storageInfo=lv=-55;cid=CID-80fbc1a8-ca80-4625-83df-5ae4e1ab633e;nsid=2034798260;c=0) is attempting to report storage ID 000c785c-633b-42ae-8eaa-4f1b0f8bb550. Node 192.168.68.102:50010 is expected to serve this storage.
......
......

原因：集群中不同机器上的datanode的cid重复（我是由于安装是拷贝过去导致的）    修改成不一样的就ok了 

修改${hadoop-home}/tmp/dfs/data/current/VERSION      修改cid

通过http端口获取hadoop集群的active node
梦，不可及，所以可期待...
08-10 923
最近部门合并，两个部门的集群需要同步到一起，自然用的是【distcp】，因为两个集群的版本不一致，用hdfs可能会有问题，所以通过http端口来传输。因为两个集群都配置了HA，无法确定什么时候哪个name node处于active状态，所以需要先每次传输前先获取active node。 方式是通过JMX来获取集群信息。 解析返回的json，获取到active node后退出，开始传输数据。 #...
Hadoop集群启动后,在web:50070端口只有一个datanode节点
qq_42321843的博客
03-10 3065
Hadoop集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了一个datanode。 解决方法： 1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hado...
hadoop启动后，Active Nodes节点数是0，没有Active Nodes节点
小蜗牛的博客
05-27 4196
1.启动Hadoop start-dfs.sh start-yarn.sh 2.执行jps 没有nademanager进程 3.解决 进入/usr/local/file/hadoop-2.9.2/etc/hadoop vi yarn-site.xml 在yarn配置文件中增加配置 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1
解决：hadoop2.5.2 HA启动时出现了两个standy的Namenode，没有出现active的Namenode
大数据之美
07-31 819
hadoop启动时报：Unable to trigger a roll of the active NN 错误。 HA启动时出现了两个standy的Namenode，没有出现active的Namenode（通过web界面查看到的） 执行jps查看进程发现，状态监控进程：DFSZKFailoverController 没有启动。 HA模式下，在zookeeper集群没有启动的情况下，执行st...
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException)
qq_30657195的博客
07-25 3491
今天重新部署了一个3个节点的hadoop完全分布式集群，在第一台节点上安装好hadoop后，使用了伪分布式模式对集群进行了上传文件操作，运行了wordcount案例。在进行完全分布式时，发现有个节点无法启动，查看该节点的 .log文件，发现在文件最后抛出了以下错误。仔细回顾操作过程后，这一系列操作是属于往集群中添加节点。于是，我关闭了集群，并在namenode节点的etc/hadoop目录下添加了...
Hadoop集群中J开头的进程有哪些
最新发布
07-02
我们正在处理用户的问题：“我想查找Hadoop集群中以J开头的进程请问Hadoop集群中以J开头的进程有哪些”根据系统指令，我们需要：1.使用$...$表示行内数学表达式（但此问题不涉及数学表达式，可忽略）2.独立公式用$$....
如何解决Hadoop集群环境下DataNode无法连接NameNode问题
Bob Liu的程序人生
09-22 9058
本文总结了在Hadoop集群环境下，DataNode无法连接NameNode的问题：2017-02-13 05:43:01,540 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000，重点在于问题的排除思路和方法。该问题出现的运行环境为Ubuntu 16.05 TLS, Hadoop 2.7.3环境下。
Hadoop获得集群NameNode和DataNode状态
fansy1990的专栏
03-29 1万+
软件版本：hadoop2.2，JDK1.7，Intellij idea140. 配置Configuration如果需要使用java程序来获得某个集群的NameNode或DataNode的相关信息，那么Configuration需要如下配置：/** * 获得配置的Configuration * * @return */ public static Configuration ge
Hadoop集群改名导致无法启动DataNode
持续学习持续开发，我是雷学委！
05-15 417
Hadoop集群更名 导致无法启动D a ta N o de 错误描述 之前集群能够启动各个节点的。 因为最近集群改名了，启动NameNode可以的。 启动DataNode没有任何提示。 进入hadoop logs目录查找hadoop-root-datanode-bd-cluster1.log文件发现下面的错误。 错误关键信息： org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/
Hadoop集群搭建
ruoer1的博客
05-06 637
Hadoop 联邦集群通过引入多个 NameNode，每个 NameNode 管理一部分命名空间，从而实现了命名空间的横向扩展，提高了集群的整体性能和可扩展性。Hadoop 联邦集群是 Hadoop 分布式文件系统（HDFS）中的一个重要特性，它为解决大规模数据存储和管理中的扩展性和性能问题提供了有效的方案。综上所述，Hadoop 联邦集群通过引入多个 NameNode 实现了命名空间的横向扩展，提高了集群的扩展性和性能。但在使用过程中，需要注意管理复杂性、数据块管理和元数据一致性等问题。
hadoop datanode异常：UnregisteredDatanodeException
weixin_34151004的博客
03-30 120
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop使用常见问题以及解决方法
千里之行,始于足下
09-15 9243
<br />Hadoop使用常见问题以及解决方法 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out<br />Answer：<br />程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。<br />修改办法：<br />修改2个文件。<br />        /etc/security/limits.conf<br />vi /et
解决DataNode的ID相同导致开启集群查看Web界面其他节点未能连接成功
qq_45739020的博客
11-08 506
查看 vim /etc/hosts主机ip和节点的映射关系是否正确 查看 cd export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ 在打开vim slaves 是否添加节点 如果是克隆的话那么克隆的话DataNode的ID一定是相同的，会导致Web界面，识别出两个一种的唯一ID，解决办法在主节点关闭集群，在克隆的节点删除hadoopDatas...
各个datanode的storageID不一样，导致启动datanode不成功。
tbdp6411的专栏
04-24 3204
我们在启动hadoop各个节点时，启动namenode和datanode，这个时候如果
Hadoop2.7.0集群的NameNode在HA下如何切换active和standby状态
qq_39142369的博客
05-22 4337
https://blog.youkuaiyun.com/Meiyang1990/article/details/74521951 1、笔者所在公司的开发环境搭建了一个hadoop集群，为保证HDFS的高可用，配置了NameNode的HA模式 ， 10.17.2.134 为active ，10.17.2.121为standby 2、笔者平时训练写的很多mapreduce程序，指定...
activeMq集群实现方式
热门推荐
zxc_user的博客
04-01 1万+
前提都是通过  networkConnectors 这个节点来配置的,安装就不说了,请自行百度一下....配的是虚拟集群,如果有多台机器，其实就不需要修改端口了，可以省去不看第一种方案有两台activemq 来集群一台端口为   8161 ，服务端口为 61616 一台端口为   8262 ，服务端口为 62626修改这8161 端口请到  /conf/jetty.xml 中修改,搜索一下8161...
hadoop启动集群后，没有datanode进程
kerry_55的博客
05-07 3828
jps没有DataNode,解决方法：1、./stop-all.sh 或 ./stop-dfs.sh 要确保没有jps其它进程，如果有，kill -9 进程id2、rm -rf /data3、重新格式化 hdfs namenode -format4、重新启动集群 ./start-all.sh 或 ./start-dfs.sh5、查看是否有DataNode，jps...
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 4059
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
active nodes不显示
yang398835的博客
08-14 2997
每次启动start-dfs.sh和start-yarn.sh之后,察看50070，datanode服务和数量都正常 ，察看8088发现active nodes 为0，一开始没在意，后来在集群上运行mr程序，每次到running job处就卡住了， 百度了一下，搞定！MapReduce任务运行到running job卡住 http://blog.youkuaiyun.com/aspkhdp/article
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值