hadoop启动start-all.sh,slave节点没有datanode的问题

最新推荐文章于 2024-01-04 10:22:50 发布
最新推荐文章于 2024-01-04 10:22:50 发布
阅读量1.1w 收藏 20
点赞数 4
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop datanode namenode 格式化 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/long085/article/details/78535873

启动master节点：start-all.sh

如果安装没问题jsp进程后出现：

master有四个进程：Jps、NameNode、ResourceManager、SecondaryNameNode

slave节点进程有：Jps、DataNode、NodeManager

但是我们频繁的修改配置文件执行：hdfs namenode -format，在slave节点就不会出现DataNode进程，是由于/dfs/name/current文件下的VERSION中的namespaceId不一致造成的。

解决办法：

执行stop-all.sh , 将namespaceId改成与master节点一致。或者删除配置的临时文件，日志文件等文件，然后重新格式化:

hdfs namenode -format
启动hadoop：
start-all.sh
再次jps就可以看到DataNode进程！

浏览器输入：http://IP地址:50070就可以看到namenode



源码：Hadoop-3.0.3 启动过程中执行start-all.sh开始
九师兄
09-20 1336
1. tart-all.sh脚本 有以下重要的几句shell命令： #提示start-all.sh已经过时了，被${HADOOP_HOME}/sbin/start-#dfs.sh 以及start-yarn.sh代替 echo "This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh" #执行$HADOOP_HOM...
源码：Hadoop-2.7.4 启动过程中执行start-all.sh开始
九师兄
09-20 1495
1. tart-all.sh脚本 有以下重要的几句shell命令： #提示start-all.sh已经过时了，被${HADOOP_HOME}/sbin/start-#dfs.sh 以及start-yarn.sh代替 echo "This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh" #执行$HADOOP_HOM...
Hadoop集群启动，指令start-all.sh 但slave节点没有datanode
PJ填坑手记
05-30 4523
场景 在对集群进行启动时，使用指令start-all 但是slave节点上的datanode没有启动。 Expect Result： 在HadoopMaster终端上执行JPS指令，显示四个进程： 在HadoopSlave终端上执行JPS指令，显示三个进程： 而现在启动后，发现在HadoopSlave终端上只有2个进程： 原因 原因如网上所说，是因为进行了多次格式化指令： hdfs namenode -format 每次格式化都会重新你创建一个namenodeId，而在默认情况下tmp/dfs/dat
执行start-all.sh后，datanode没有启动
panguoyuan的专栏
08-20 5932
2014-08-19 18:43:42,751 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2014-08-19 18:43:42,752 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting 2014-08-19 1
【Hadoop】关于hadoop在./start-all.sh指令启动后子节点没有datanode进程的解决办法
Cheryl_l的博客
03-09 8096
问题描述： 在sbin目录下主节点操作./start-all.sh命令后，正常启动的Hadoop集群。但是通过JPS指令查看进程时，发现子节点没有数据节点进程。 解决办法： 在sbin目录下发起./stop-all.sh关闭集群 删除存放HDFS数据块的文件夹（hadoop的/ TMP /），然后重建该文件夹 删除的Hadoop下的日志文件日志 在bin文件夹下./hadoop nam...
搭建Hadoop时Slave节点没出现DateNode进程的原因
weixin_46128342的博客
04-06 9132
搭建Hadoop时Slave节点没出现DateNode进程的原因 正确的Hadoop下的Master、Slave节点jps后会出现 但当我关闭集群后重新用hdfs namenode -format进行文件格式后，重新启动集群， Slave节点却jps不到DataNone 原因：hdfs强制性多次初始化数据，会导致VERSION里面的nameid，clusterID，blockpoolID变化，...
启动hadoop。start-all.sh 缺少datanode进程
weixin_33724570的博客
06-11 319
1）修改每个Slave的namespaceID使其与Master的namespaceID一致。　　或者2）修改Master的namespaceID使其与Slave的namespaceID一致。　　该"namespaceID"位于"/usr/hadoop/tmp/dfs/data/current/VERSION"文件中，前面蓝色的可能根据实际情况变化，但后面红色是不变的。　　...
hadoop集群启动需要分别在master和slave中执行start-all.sh吗
03-26
是的，启动Hadoop集群需要在master节点和所有slave节点上执行start-all.sh脚本。在master节点上执行start-all.sh会启动所有必要的Hadoop守护进程，包括NameNode、SecondaryNameNode和JobTracker。在slave节点上执行...
[bhy@master hadoop-2.8.3]$ start-dfs.sh Starting namenodes on [master] master: master: Authorized users only. All activities may be monitored and reported. master: namenode running as process 47702. Stop it first. master: master: Authorized users only. All activities may be monitored and reported. localhost: localhost: Authorized users only. All activities may be monitored and reported. slave: slave: Authorized users only. All activities may be monitored and reported. localhost: mv: 无法获取'/home/bhy/testhadoop/hadoop-2.8.3/logs/hadoop-bhy-datanode-master.out.2' 的文件状态(stat): 没有那个文件或目录 localhost: mv: 无法获取'/home/bhy/testhadoop/hadoop-2.8.3/logs/hadoop-bhy-datanode-master.out.1' 的文件状态(stat): 没有那个文件或目录 master: starting datanode, logging to /home/bhy/testhadoop/hadoop-2.8.3/logs/hadoop-bhy-datanode-master.out localhost: mv: 无法获取'/home/bhy/testhadoop/hadoop-2.8.3/logs/hadoop-bhy-datanode-master.out' 的文件状态(stat): 没有那个文件或目录 localhost: starting datanode, logging to /home/bhy/testhadoop/hadoop-2.8.3/logs/hadoop-bhy-datanode-master.out slave: datanode running as process 35714. Stop it first. master: ulimit -a for user bhy master: core file size (blocks, -c) unlimited master: data seg size (kbytes, -d) unlimited master: scheduling priority (-e) 0 master: file size (blocks, -f) unlimited master: pending signals (-i) 11396 master: max locked memory (kbytes, -l) 64 master: max memory size (kbytes, -m) unlimited master: open files (-n) 1024 master: pipe size (512 bytes, -p) 8 Starting secondary namenodes [master] master: master: Authorized users only. All activities may be monitored and reported. master: secondarynamenode running as process 48219. Stop it first.
最新发布
06-02
好的，我现在需要帮用户解决Hadoop集群启动时遇到的Namenode、Datanode和Secondary Namenode进程冲突的问题。用户提到日志找不到，还有ulimit配置的问题。首先，我得回忆一下Hadoop常见的这类问题可能的原因和解决...
hadoop集群slave节点jps后没有datanode解决方案
dress
03-17 6038
3.切换到slave节点，将/usr/local/hadoop/tmp/dfs/data/current里的VERSION文件中的clusterID替换成与master的VERSION文件中clusterID一致。2.找到安装hadoop的文件夹，我的是(/usr/local/hadoop)再找到里面的tmp/dfs/name/current,打开VERSION查看并复制clusterID的内容。操作：在master里输入命令。操作：在slave里输入命令。
start-all.sh启动HDFS，datanode没有启动
weixin_30690833的博客
09-20 250
第一次格式化dfs后，启动并使用hadoop，之后如果再次重新执行了格式化（hdfs namenode -format) start-all.sh启动时就会遇到datanode无法启动的问题，通常情况是datanode的clusterID 和 namenode的clusterID 经过再次格式化后已经不匹配 解决方案： 修改datanode里VERSION文件的clusterID保持和na...
Hadoop-启动start-all.sh，jps发现DataNode没有启动
chunliangdu8082的博客
11-05 280
第一步：先stop-all.sh再重启一遍，jps查看是否启动成功 第二部：第一步失败，看这个-->http://blog.csdn.net/asia_kobe/article/details/50902812 ...
关于自搭建hadoop出现slave服务器没出现DataNode节点的解决方法
zg_feig01的博客
01-08 5617
首先先看正确hadoop下的master，slave服务器节点情况 异常情况：slave服务器未出现DataNode节点 问题描述： 一般是格式化hdfs出现的情况，例如hadoop namenode -format或 hdfs namenode -format 强制性多次初始化数据，导致 VERSION里面的nameid，clusterID，blockpoolID变化，导致m...
成功解决slave无datanode问题
ningyanggege的博客
01-25 6543
一、主机中的hadoop配置要与slave完全相同（主要原因） 二、删除了下面目录中的所有文件（不知道有没有影响） stop-all.sh  stop-spark-all.sh   hadoop namenode -format start-all.sh datanode就成功出现了 上传个文件试试，看看效果；圆满成功！      ...
集群启动时从节点没有datanode
Asakikiby的博客
01-04 913
在启动hadoop集群时，slave1从节点找不到datanode节点，查询资料，可能是两个从节点tmp中缓存内容不一致，分别进入三台机器的/usr/local/hadoop/tmp/dfs/data，讲current删除，重启集群出现datanode。
spark的slave上没有datanode 的解决办法
make_APP的博客
01-27 5789
问题描述： 通过jps命令 发现 两个slave上都没有datanode，而master上正常 找到namenode和datanode各自的VERSION，发现master下的更新日期为1月27，slave下为12月25 分别查看master和slave日志发现果然有warn 解决办法： 1、停止服务，停止spark的和hadoop的，有stop-all.sh 2、找到哪台的s
Hadoop集群：新增从节点slave4无datanode
weixin_63867186的博客
11-01 404
笔记
Hadoop Slave 没有启动datanode Master有
gch1997626的博客
06-07 1386
Slave 输入jps，没有datanode进程，说明没启动，原因在于Slaves没有更改，用编辑器更改你的Slave。
hadoop集群master主机启动namenode,但其slaves未启动datanode
老肥码码码
01-10 2797
今天在拷贝local文件到hdfs时发生错误，提示没有datanode在工作，查资料得 在多次格式化文件 hadoop namenode -format 造成了datanode无法启动，在web界面观察到live node数目为0 其原因是datanode的clusterID 和 namenode的clusterID 不匹配 查询version 文件发现果然三个datanode的clus...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值