Hadoop中的datanode没有启动

最新推荐文章于 2024-08-17 22:31:50 发布
原创 最新推荐文章于 2024-08-17 22:31:50 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了一次Hadoop集群运行中出现的问题：DataNode退出及BlockPool服务结束等异常现象。经排查发现，NameNode与DataNode的clusterID不一致导致了此问题。解决方法为将NameNode的clusterID复制到DataNode对应的文件夹下。

这是异常

at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:812)
at java.lang.Thread.run(Thread.java:724)
2017-04-12 00:32:16,913 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to node1/192.168.136.136:8020
2017-04-12 00:32:16,913 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)
2017-04-12 00:32:18,921 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2017-04-12 00:32:18,926 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2017-04-12 00:32:18,941 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SH


原因在于重新格式化以后，namenode节点上opt/hadoop2/dfs/name/current该目录下的version中的clusterID和datanode节点上opt/hadoop2/dfs/data/current文件夹下的version中的clusterID不一样。需要将namenode上的clusterID复制到datanode上即可。

Datanode无法启动
weixin_44704605的博客
11-18 593
1）现象： #jps 看不到DataNode （2）可能原因： datanode的clusterID 和 namenode的clusterID 不匹配。 （3）解决办法： 找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/） <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- P
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 3164
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
Hadoop 数据节点DataNode异常
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
Hadoop中DataNode没有启动解决办法
optics's blog
11-22 2万+
查看从节点机器hadoop中datanode的log文件 , 拉到最后 , 报错如下2017-11-22 13:51:17,114 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/grid/hadoop-2.7.2/dfs/data: na
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
Hadoop中DataNode没有启动的原因和解决办法
共享，共进步
06-24 2207
Hadoop中DataNode没有启动的原因和解决办法 原因 由于多次进行格式化命令操作导致，namenode被格式化，现在需要复原 hadoop namenode -format 解决办法 1，进入hadoop寻找log日志 [root@promote logs]# cd /opt/hadoop/logs 进入这个log文件，拉到底部，找第一个CID，复制 2，打开文件 ,此tmp文件为配置core-site.xml时自己建立的临时文件目录hadoop.tmp.dir [root@promote
hadoop中datanode没有启动
06-28
如果Hadoop中的DataNode没有启动，可能是由于以下原因之一： 1. 配置文件错误：检查Hadoop配置文件中DataNode相关的配置是否正确，如HDFS配置文件中的hdfs-site.xml和core-site.xml文件。 2. 端口占用：确保...
Hadoop中DataNode没有启动
yandao的博客
09-13 221
Hadoop中DataNode没有启动 主要原因是因为namenode 启动格式化引起的clusterID不一致 把datanode的clusterID 修改为namenode上的clusterID [root@node1 hadoop]# cat /var/hadoop/ha/dfs/name/current/VERSION #Sun Sep 13 06:16:51 CST 2020 namespaceID=240374401 clusterID=CID-6b9fbb66-0dd8-4a59-ad6e
Hadoop之DataNode启动源码解析
最新发布
qq_45115959的博客
08-17 743
DataNode类是 Hadoop 分布式文件系统 (HDFS) 中的一个核心组件，它负责存储文件系统的数据块。每个部署可以包含一个或多个DataNode实例。DataNode与NameNode通信以报告其存储状态，并响应来自NameNode的指令，如删除或复制块等操作。此外，DataNode还需要与客户端代码和其他DataNode进行交互。
启动hadoop，datanode节点启动失败：Initialization failed for Block pool.......
weixin_74606115的博客
10-16 1089
总结来说如果不删除数据和日志的话，重新格式化namenode会产生新的集群ID，这样会和datanode的集群ID产生冲突，导致namenode启动失败。其次每次的namenode format都会重新创建一个namenodeId,而data目录下则包含了上次format时的id , namenode ，format。清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所以要做的就是每次fotmat前,清空data下的所有目录（这是最保证的方法）
Hadoop的datanode没有启动--解决办法
庸医2048的博客
12-03 468
解决办法： 1》首先我尝试重新格式化了 namenode，但是重启了不行。 [root@localhost hadoop-2.4.1]# ./bin/hdfs namenode -format 2》那就去查看一个日志log上面是如何报错的。 先删除  tmp目录然后格式化一下namenode http://blog.sina.com.cn/s/blog_4c248c5801014
hadoop datanode未启动
飘过的春风
11-26 754
查看日志，报错 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /usr/hadoop-1.2.1/hdfs/data: namenode  namespaceID = 697999702; datanode namespaceID
Hadoop的datanode没有启动
默主归沙的博客
03-17 3103
千万别多次格式化hadoop，因为datanode的id只有是第一次生成的，不会和namenodeid同步 datanode启动失败，直接无法上传文件到hdfs中 解决方法： 查看hdfs-site.xml文件 cd /usr/loca/hadoop/etc/hadoop 查看上面两个文件夹 可以查看namenode和datanode的集群id 比如查看namenode 只要查看到current/VERSION就可以查看到 都是查看VERSION 上图是datanode .
Hadoop启动时，没有启动DataNode
皮埃尔的博客
05-08 6182
Hadoop启动时，没有启动DataNode1、起缘2、原因3、解决办法3.1 删除 dfs 文件夹（dfs文件夹中没有重要的数据）3.2 复制 clusterID（dfs文件夹中有着重要的数据）4、总结 1、起缘 有时候Hadoop没关闭就格式化NameNode，经常会出现没有启动 DataNode 的情况 2、原因 当我们使用 hadoop namenode -format 格式化 NameNode 时，会在 NameNode 数据文件夹（这个文件夹为自己配置文件中 dfs.name.dir 的路径）
DataNode没有正常启动
qq_39852472的博客
11-09 711
方法一：（方法一，有一个重大缺点，就是会把你以前存放在 dfs文件下的数据都清空） 解决方法：删除master节点和slaver节点的 dfs这个文件夹   之后格式化 hadoop 到bin目录下 输入以下命令./hdfs namenode -format 问题出现的原因：当我们执行文件系统格式化时，会在namenode数据文件夹中保存一个current/VERSION文件，记录names
hadoop集群启动后datanode没有启动
m0_51697147的博客
11-20 7228
解决方法： 第一步：关掉所有启动的集群 在hadoop3.1.3目录下，输入命令sbin/stop-all.sh 第二步：删除每个集群中datanode存放路径的数据,data 和logs 输入命令：rm -rf data/ logs/ 第三步：重新格式化 输入命令：hadoop namenode -format 第四步：启动集群 在hadoop3.1.3目录下，输入命令sbin/start-all.sh 第五步：查看进程 输入命令：jps
datanode却没有启动
qeshining的博客
07-22 1070
datanode的clusterID 和 namenode的clusterID 不匹配。解决方法：打开hdfs-site.xml文件配置的datanode和namenode对应的目录，在tmp/hadoop-root/dfs目录下分别打开data和name目录下current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION
Hadoop集群启动时没有Datanode
evangelion_Asuka的博客
10-12 3236
在启动集群后，使用jsp命令验证集群是否配置成功时，发现Datanode没有被启动，第一反应是关闭后使用。回到dfs文件夹，进入到data文件夹中的current文件夹，使用cat查看VERSION文件。我们应将DataNode的clusterID改成NameNode的clusterID。start-all.sh命令再次启动，依旧没有，于是检查配置文件依旧没发现问题。先进入name文件夹，然后使用cat查看VERSION文件。将这里面的也复制下来与name文件夹中的对比。将两个ID进行对比发现确实不一样。
hadoop 未启动datanode
suejl的专栏
05-02 1059
分别运行 start-dfs.sh, start-yarn.sh jps后只有
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值