关于hadoop集群中,webui上没有slave而jps存在datanode的问题

最新推荐文章于 2024-12-25 23:41:15 发布
原创 最新推荐文章于 2024-12-25 23:41:15 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细记录了Hadoop集群的搭建过程，包括主节点与从节点间的网络配置调试，解决从节点无法在Web UI中显示的问题，并最终实现三个DataNode的正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

集群结构

hadoop01 主

hadoop02 从

hadoop03从

首先，在主机hadoop01 ping hadoop02 成功ping通

所以在 start-dfs.sh是可以的

并且hadoop02上 jps也有datanode

但是在web ui上却没有显示

然后在hadoop02上 ping hadoop01发现ping不通

就去查看

发现hadoop01不存在

更正后

hadoop02重启

hdfs namenode -format

在sbin下start-dfs.sh后

就成功出现想要的三个datanode的结果

总结

hadoop01 ping的通 hadoop02 所以可以对其进行操作

而hadoop02 ping不通 hadoop01 所以无法向他反馈信息，所以webui上没有其datanode

解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题
Yiie 的博客
08-26 5898
解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题 用jps查看此时datanode已经启动 [root@hadoop02 name]# jps 12858 DataNode 12987 NodeManager 13196 Jps 此时进入x.x.x.x:50070查看节点情况，只有01和03启动，02没有...
解决 hadoop 在网页上查看 livenodes 为 0 但是使用 jps查看却存在 datanode
.
12-04 1628
笔者用三台虚拟机模拟全分布环境，start-dfs.sh 启动 HDFS 之后，在三台机器上执行 jps 命令分别看到了如下信息： NameNode，SecondaryNameNode DataNode DataNode 主节点 NameNode，两个从节点 DataNode 均显示正常，但是通过 50070 端口在网页上查看 NameNode 的信息时，却发现 live nodes 数量为0...
启动hadoop发现slave中jps没有datanode进程
qq_41623592的博客
04-17 6491
现象： 在slave1中jps发现没有datanode进程，查看日志hadoop-root-datanode-slave1.log发现： 2019-04-14 11:45:25,093 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/hadoop/hadoop-2.7.3/hdfs/data/in_use.lock a...
启动hadoop后jps查看进程没有datanode
m0_46459772的博客
09-30 724
启动hadoop后jps查看进程没有datanode 这个坑点是重复格式化造成的。 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径）的current/VERSION文件只是你第一次格式化时保存的namenode
hadoop启动查看jps没有datanode
weixin_51775941的博客
04-09 973
Hadoop启动查看jps没有datanode： 解决方法： 找到datanode带有log的文件 将文件打开： 找到culsterID这一串代码并将其复制 打开current的目录下的VERSION文件 将VERSION中的clusterID改成上面复制的ID 最后重启一下Hadoop就出现datanode了 ...
hadoop集群搭建slave节点只有jps怎么办
最新发布
03-12
好的，用户遇到了Hadoop集群中slave节点只有jps进程的问题。我需要根据提供的引用内容来梳理解决方案。首先，引用[3]提到多次格式化namenode可能导致datanode的clusterID不一致，这可能是一个关键点。用户需要检查...
Hadoop完全分布式集群搭建
hangoer的博客
08-28 743
完全分布式模式介绍 完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式⽂件系统。 在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，⽐如： -1. namenode守护进程尽可能的单独部署在⼀台硬件性能相对来说⽐较好的机器中。 -2. 其他的每台机器上都会部署⼀个datanode守护进程，⼀般的硬件环境即可。 -3. secondarynamenode守护进程最好不要和namenode在同⼀台机器上。 守护进程布局 我们搭建hdfs的完全分布式，顺便搭建⼀下yarn
大数据上课笔记之Hadoop集群的启动和测试
Cisyamr的博客
11-09 3462
Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。
Hadoop 3.3.6分布式集群环境搭建
liaodaoguo的博客
11-13 990
一共准备了3台centOS虚拟机，master、slave1、slave2在 %wheel下一行添加内容注意：要所有服务器执行完上面命令才进行下面的操作其他主机上同理执行。
基于完全分布式部署Hadoop（修改环境变量、修改配置文件、格式化HDFS、启动Hadoop、通过WEB UI查看Hadoop的运行状态、关闭防火墙、添加IP映射、安全模式的退出）
m0_74823595的博客
12-25 809
Hadoop启动成功后，我们可以通过Hadoop提供的Web UI管理HDFS和YARN，Hadoop默认占用服务器的9870和8088两个端口，用于用户访问HDFS和YARN的Web UI，我们可以在本地计算机的浏览器中输入NameNode和ResourceManager服务所运行的服务器IP地址或主机名，以及9870或8088端口访问HDFS或YARN的Web UI。为避免在使用过程中造成混淆，先规划HDFS和YARN的相关服务运行的虚拟机，如图所示。，进行格式化HDFS文件系统。
八、输入jps时有DataNode但是网页上没有
weixin_45702895的博客
04-05 2928
一、遇到的问题 输入jps时有DataNode但是网页上没有 jps: 网页： 二、解决方法： 1.关闭集群 2.在 hdfs-site.xml 中找到name和data的位置 [pcz@hadoop1 bin]$ cd /opt/module/hadoop-3.1.3/etc/hadoop/ [pcz@hadoop1 hadoop]$ cat hdfs-site.xml 3.进入name和data所在的位置，并删除name和data里面的内容 [pcz@hadoop1 dfs]$ cd /opt/mo
Hadoop集群DataNode成功启动，但网页没有显示
qq_48770086的博客
12-03 1069
Hadoop集群DataNode成功启动，但网页没有显示 修改虚拟机的datanodeUuid即可，保证集群的每台机器不一样（随便修改即可，我改的是最后一个数字） clusterID一样是没有问题的，因为是一个集群的
Hadoop3.3.0集群只能启动master，无法启动slave
u014231534的博客
11-06 2349
Hadoop3.3.0一个小坑，slaves文件更名为workers，启动时slaves都启动不了。master上倒是起来了DATANODE, NAMENODE, NODEMANAGER, SECONDARNAMENODE, RESOURCEMANAGR,JPS。修改slaves文件名为workers后重启，就正常了。 正常启动集群时，master上只有NAMENODE,RESOURCEMANAGR,SECONDARNAMENODE, JPS。slave上有AGENTSERVERMAIN, DATAN..
Hadoop3.x完全分布式模式下slaveDataNode节点未启动调整
夜郎King的博客
12-19 1万+
本文描述的是在Hadoop3.1.3的完全分布式环境下，slave节点的DataNode节点未能成功启动的问题以及通过修改配置来解决的办法，希望能帮助到遇到这个问题的朋友。
hadoop图形化界面上只有一个datanode，集群中其他节点没有显示出来
水镜先生的博客
02-21 7397
最近了解一些大数据知识，自己尝试着搭建hadoop集群，但是遇到了很多坑，总结一下。 hadoop-daemon.sh开启集群，设置了3台虚拟机来当作集群，在master节点通过jps命令查看，看到3台集群的DataNode，NameNode、SecondaryNameNode都已启动，在slave节点通过jps命令查看，每台服务器的东西都启动成功。 但是在图形化界面上看只有一个DataNode，...
在Hadoop集群搭建搭建时，从属虚拟机slave01和slave02jps查看进程时，没有datanode的解决办法
xh_1187466027的博客
09-11 5089
刚开始一直没找出原因，原来是格式化语句 ：hdfs namenode -format执行了多次生成了一个current文件，去把每台虚拟机上的current文件删除了就可以了。 1、先根据图中的途径找到current文件； 2、然后再将它删除； 3、按照同样的方法切换到另外两台虚拟机将current文件删除。再去slave01和slave02上执行jps即可看到DataNode； ...
【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode
热门推荐
午夜的行人
04-18 4万+
引言 最近在尝试在搭建Hadoop集群并测试集群是否搭建成功，但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了，二者没有同时存在，也尝试过停止进程再重新启动都没有解决掉该问题。 相关命令 集群第一次启动，格式化NameNode bin/hdfs namenode -format 启动HDFS sbin/start-dfs.sh 停止HDFS sbin/stop-dfs.sh 启动YARN sbin/start-yarn.sh
解决启动hadoop后jps没有从节点没有DataNode问题
qq_46085912的博客
12-23 4213
进入hadoop安装目录找到core-site.xml（/usr/local/soft/hadoop-3.2.0/etc/hadoop/）并查看 找到： <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> 去到 /data/hadoop/目录下进入/data/hadoop/hdfs/
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 4040
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值