解决hadoop启动后没有datanode

最新推荐文章于 2024-10-16 17:34:25 发布
原创 最新推荐文章于 2024-10-16 17:34:25 发布 · 2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #big data

当Hadoop被格式化两次时，可能会导致DataNode节点消失。为修复此问题，需要在所有datanode节点上删除/root/hadoop/data下的current文件夹，然后重新执行hadoop namenode -format，再通过start-dfs.sh和start-yarn.sh重启Hadoop。执行jps命令验证datanode已成功启动。

出现上述问题可能是格式化两次hadoop，导致没有datanode

解决办法是：在所有datanode节点上找到/root/hadoop/data里面的current文件夹删除
然后从新执行一下 hadoop namenode -format
再使用start-dfs.sh和start-yarn.sh 重启一下hadoop
用jps命令看一下就可以看见datanode已经启动了

精选资源
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
weixin_58515213的博客
04-16 8853
HADOOP 主节点启动了datanode但是从节点没有的解决办法（所有节点没有datanode也都适用）
hadoop启动中缺少datanode
香蕉的博客
05-17 1493
// 启动 journalnode（在所有 datanode 上执行，也就是 cluster1, cluster2, cluster3） $ hadoop-daemon.sh start journalnode 启动后使用 jps 命令可以看到 JournalNode 进程 // 格式化 HDFS（在 cluster1 上执行） $ hdfs namenode -format // 格式化完毕后可关闭 journalnode（在所有 datanode 上执行） $ hadoop-daemon.sh
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
解决Hadoop启动时，没有datanode
最新发布
weixin_71351015的博客
10-16 1580
当我们格式化namenode时，会保存一个/opt/module/hadoop/data/dfs/data/current/VERSION文件，记录clusterID,datanode中保存的current/VERSION文件是上一次格式化保存的clusterID，clusterID不一致。vim /opt/module/hadoop/data/dfs/data/current/VERSION文件，将其中的clusterID的值替换成刚刚复制的clusterID。运行命令：jps，没有datanode。
Hadoop启动后在进程中没有Datanode的解决方法
m0_67390379的博客
04-18 2779
问题简述 多次初始化会导致Data中的clusterID与name中的clusterID不一致 解决方法 第一步：vi etc/hadoop/hdfs-site.xml //查看hdfs-site.xml文件，找到namenode与datanode的所属路径 第二步：vi /opt/hadoop/data/namenode/current/VERSION //打开namenode路径下的current/VERSION文件，复制其中的clusterID 第三步：vi /opt/hadoop/d
hadoop 没有datanode解决方法
ChunKitAu的博客
10-09 1万+
Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop，发现DataNode没有启动： 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 解决: 打开log: 在log中找到: 找到data目录: 在这个目录下，有一个VERSION文件。将VE...
hadoop启动后没有datanode
05-09
如果Hadoop启动后没有datanode，可能有以下几个原因： 1. 检查防火墙设置：防火墙可能会阻止datanode与namenode之间的通信，你可以尝试禁用防火墙或者开放Hadoop所需的端口。 2. 确保Hadoop配置正确：检查Hadoop...
Hadoop集群启动后没有Datanode解决方法
qq_42321843的博客
03-10 2928
1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hadoop/tmp/dfs/data/current/ ls rm -f VERSION 3.执行hdfs namenode -fo...
解决启动hadoop后没有datanode
weixin_45988680的博客
10-07 7371
原因：namenode和datanode的ID不匹配 网上绝大部分方法都试过后，发现这个屡试不爽 1.检查两个文件core-site.xml和hdfs-site.xml，确认每问题后进行以下操作 2.进入hadoop如下目录 hadoop-3.1.1/data/tmp/dfs 会发现有两个目录 我们要做的就是将namenode和datanode的ID进行匹配。 3.将namenode的clusterID复制到datanode中的clusterID 打开namenode中的VERSION
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 6654
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
启动Hadoop的时候没有进程DataNode
wing
07-25 1032
启动Hadoop的时候没有进程DataNode 解决办法： 1、需要先停止所有服务。 【在目录下即$HADOOP_HOME/sbin目录下(我的是/home/syan/Hbase/hadoop/sbin)用命令stop-all.sh】 命令： // 转到相应工作目录 cd /home/syan/Hbase/hadoop/sbin //停止进程命令 stop-all.sh 注：如果你不想每次都进入这个目录去执行这个文件，那你可以选择设置临时环境或永久性环境。设置方法请看Ubuntu中设置PATH变量值
Hadoop集群启动时没有Datanode
evangelion_Asuka的博客
10-12 3234
在启动集群后，使用jsp命令验证集群是否配置成功时，发现Datanode没有被启动，第一反应是关闭后使用。回到dfs文件夹，进入到data文件夹中的current文件夹，使用cat查看VERSION文件。我们应将DataNode的clusterID改成NameNode的clusterID。start-all.sh命令再次启动，依旧没有，于是检查配置文件依旧没发现问题。先进入name文件夹，然后使用cat查看VERSION文件。将这里面的也复制下来与name文件夹中的对比。将两个ID进行对比发现确实不一样。
hadoop启动时没有datanode
a18729562128的博客
12-28 1246
jps 没有datanode，我之前有用过hadoop，已经nameformat初始化生成了datanode，所以只需要找到原来的datanode文件所在地，删除掉 sudo rm -rf sudo rm -rf /usr/local/hadoop/tmp/dfs/data 先把启动了的节点全都关了 ./sbin/stop-dfs.sh 再运行 hadoop namenode -format ./sbin/start-dfs.sh 最后结果 就会出现datanode了 ...
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 1万+
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
启动hadoop集群没有datanode节点
qq_58538016的博客
04-05 1万+
使用start-dfs.sh启动hdfs后只有namenode，没有datanode。 原因：配置集群式进行了多次格式化，导致两者的id不一致，所以启动namenode是没有启动datanode。 解决办法：可以在VMware李自己找，但在xftp里面寻找更为简便。 1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。 2：进入name，在current里有一个version的文件，记事本打开，复制id， 3：再进入到data下的current的ve.
Hadoop启动后没有datanode的问题
qq_45930996的博客
02-21 2211
****安装好zookeeper和高可用后，再次启动没有datanode节点 参考：https://blog.csdn.net/Islotus/article/details/78357857?utm_source=distribute.pc_relevant.none-task https://blog.csdn.net/boling_cavalry/article/details/102764...
启动 Hadoop 后没有 dataNode 进程
是微风，是晚霞，是无可替代
11-22 3940
原因：进行 hadoop 格式化的时候没有事先结束所有进程，或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配，从而在启动后没有 datanode 进程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值