Hadoop Web UI 50070 界面&8088 Cluster 集群页面只显示一个节点

最新推荐文章于 2025-06-13 18:11:35 发布
最新推荐文章于 2025-06-13 18:11:35 发布
阅读量3.8k 收藏 14
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据中遇到坑 文章标签： hadoop 大数据 yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yidianyidei/article/details/107305561
本文详细记录了在腾讯云服务器上搭建Hadoop集群过程中遇到的问题及解决方法，重点介绍了如何通过正确配置hosts文件和修改Hadoop配置文件来实现多节点在WebUI界面的正常显示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop Web UI 界面&Cluster 集群页面只显示一个节点

1 不配服务器hosts 文件坑

在这里插入图片描述

三台腾讯云服务器

----可以看到节点都正常启动
在这里插入图片描述

关闭dfs.sh /yarn.sh 全部进程进程

修改本地hosts 文件

在这里插入图片描述

修改成：

在这里插入图片描述

启动dfs.sh/ 和yarn.sh 进程

可以看到hadoop102 有了 其它是服务器原始主机名 ，那就把其它两台也这么改一下

在这里插入图片描述

如果网卡不知怎么配置 可以看一下这里：

https://blog.youkuaiyun.com/yidianyidei/article/details/107288506

2 不配服务器hosts 文件坑

这里也是所有节点正常启动

在这里插入图片描述

到网上各种查----（因为是小白么~真心懵逼啊）

在这里插入图片描述

在一个大神博客里说到这么一段话 虽然不是很理解 但是我hosts 文件都改成服务器内网ip --对应映射hadoop103

而且电脑本机hosts 解析 都是对应公网ip 怎么还是一个节点呢？？

如果不是hosts 文件问题 —那大概率 判断为hadoop 配置文件中 yarn 文件问题

修改hadoop 中yarn 文件

ps:https://blog.youkuaiyun.com/yidianyidei/article/details/107288506

在如上博客中 我埋下一个坑
在这里插入图片描述

没错这里不应该是内网ip 应该是对应服务器名（比如：hadoop10x）

应修改成

在这里插入图片描述

当然 别忘记修改前 要把所有节点进程关掉 stop-yarn.sh &stop-dfs.sh

修改后–保存 xsync 分发一下 yarn.site.xml

Start-dfs.sh&start-yarn.sh

这样就都出来拉
在这里插入图片描述

搭建Hadoop分布式集群50070页面只显示一个节点
xiehert的博客
06-09 3857
最近跟着视频在学大数据，我的集群是用了三台虚拟机搭建，分布情况是这样的： 问题集合： 1.SecondaryNameNode节点起不来 2.50070页面只显示一个datanode节点 3.8088和50090页面无法连接 解决过程： 1.SecondaryNameNode节点起不来 我按照步骤在每个节点下都进行了启动，jps命令后唯独SecondaryNameNode节点找不到，后来是在slave1的日志中查看了报错信息 (查看日志是一个非常有用的手段，也是在查错中学到的) 日志中报错 这里显示没有识别
Hadoop集群搭建【web端不显示从节点问题】
暴走的二哈
03-22 2994
系统：CentOS7 环境：jdk8 版本：hadoop-2.7.7 结构 hadoop01 namedata、nodedata hadoop02 nodedata hadoop03 nodedata 配置 hadoop-2.7.7/etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/app/jdk1.8.0...
关于hadoop访问8088端口显示只有一个节点
qq_43634028的博客
04-03 5690
启动hadoop集群后，查看了50070端口，发现三台虚拟机都是有的 之后查看8088端口发现只有一个节点运行 很明显问题出在了yarn上，首先我查看了yarn的配置文件 在这里我修改了红色部分为: yarn.resourcemanager.address Mastertjy43:8032 因为修改了配置文件所以要重修格式化，格式化之前，删除 hadoop目录下 hdfs/name 下的所有文件，以及hdfs/data下的所有文件，之后重新启动hadoop并访问8088发现问题..
开源模型应用落地-工具使用篇-从零开始搭建Qdrant Web UI-可视化管理工具-Windows（十）
最新发布
以微薄之力，予他人些许温暖.
06-13 1万+
Qdrant Web UI 是一个简洁友好的可视化界面，用于简化 Qdrant 向量数据库的管理与操作，降低使用门槛。
yarn访问8088只有一个node节点
OnceAchive的博客
08-31 763
访问master:8088发现只存在一个主节点，通过shell命令启动yarn后，通过jps命令发现从节点的nodemanager启动后一段时间就没了。解决方法是修改yarn-site.xml文件中的以下几项，然后分发到其他节点，重启yarn或hadoop集群。通过观察yarn日志发现报错。
hadoop集群配置：所有节点的datanode都没问题，哪里都可以查出来有多个节点，但是web页面就是只显示一个
goldleafiloveyou的博客
12-03 1049
hadoop集群配置：所有节点的datanode都没问题，哪里都可以查出来有多个节点，但是web页面就是只显示一个
Hadoop启动后WEBUI只显示一个datanode的问题
ZhouQiYoung的博客
01-14 2053
最近又摸了一下大数据方面的东西，今天在装hadoop的时候突然遇到了一个小问题，记录一下。 这里使用的是JDK1.8，hadoop3.1.4。配置完成后初始化handoop并启动，看起来一切正常 namenode启动正常 secondrynamenode和datanode也启动正常没问题。 但是打开webui后只显示了一个datanode节点 这里是修改后的正常显示，错误时，只显示了第一个且node为localhosts：127.0.0.1。 立刻查阅相关资料发现可能是因为VERSION中datano
Hadoop集群测试时，HDFS可视化的网页没有或少一个Node信息
樱桃气质丸的博客
03-21 4232
NameNode HTTP UI界面中没有或少一个Node信息问题解决： 这里没有node信息 ，第一步查看一下三个主机的hadoop家目录下data中有没有dfs目录 我的错误原因是其中一台主机上没有dfs目录（我把每一个主机上的data、logs都删了，然后格式化了HDFS，所以data下的dfs就没了） 解决方法：把hadoop集群关闭（或者按照顺序关闭hdfs、yarn....）然后在缺少dfs的主机上执行群起hadoop集群的命令，就出现了dfs，网页上再刷新一下，结点信息就
Hadoop分布式集群搭建
CodAlun的博客
09-28 492
目录Hadoop3.0 单机伪分布集群安装准备环境虚拟机基本环境配置1、静态ip 配置2、主机名设置3、hosts 文件配置4、ssh 免密码登陆5、JDK 安装Hadoop 伪分布集群安装 Hadoop3.0 单机伪分布集群安装 准备环境 1 台linux 虚拟机(Centos7.3 64 位) ip 为：192.168.48.100 hostname 为：hadoop100 虚拟机基本环境配置 1、静态ip 配置 此处使用的是 NAT 网络模式 [root@hadoop100 ~]# vi /etc/s
【Hadoop】【Hadoop集群设置】【Hadoop Cluster Setup】
wq6qeg88的博客
02-17 774
NodeManager能够定期检查本地磁盘的健康状况（特别是检查nodemanager-local-dirs和nodemanager-log-dirs），并且在达到基于配置属性yarn.nodemanager.disk-health-checker. min-health-disks设置的坏目录数量阈值后，整个节点被标记为不健康，并且此信息也被发送到资源管理器。但是，NodeManager会继续运行该脚本，因此，如果节点再次变得健康，它将自动从ResourceManager上的黑名单节点中删除。
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
weixin_43520450的博客
10-14 9550
hadoop集群通过wab管理界面只显示一个节点，datanode只启动一个 引起该问题最常见的原因，及其解决办法 使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VERSION clusterID不一致了，把全部集群节点的ID号都改为一样的即可。 下图是更改c...
关于hadoop集群时在8088端口查看时只有主节点启动运行，从节点未运行的情况说明
qq_38358709的博客
11-22 3704
1、首先，先在主机master上stop-all.sh，关闭运行 2、然后，在从机上slave上分别删除hadoo目录下的hdfs和tmp文件 之后再在从机slave上分别执行hdfs namenode -format进行格式化 3、最后，回到主机master上执行start-all.sh,开启运行 然后再到端口查看就能看到节点均能运行了。 如果还有其他问题不明白的，也可以到我的另一篇博...
hadoop网页50070只显示主节点DataNode，从节点无展示
weixin_41300542的博客
03-15 5470
问题点：hadoop网页50070只显示主节点DataNode，从节点无展示 这个问题很有意思，百度了很多案例，都无法解决，最后在大佬们的帮助下一步一步排查解决，所以能有一群学习伙伴也挺好的。 1，使用jps检查，从节点已经启动 2，检查从节点的防火墙，防火墙已关闭 systemctl status firewalld.service 3，关闭hdfs后，删除集群中所有节点的这两个目录data和logs，重新初始化namenode，同样未解决 rm -rf data/ logs/ hdfs namen
【yarn的8088界面webui无法显示子节点的问题】
m0_56576149的博客
02-10 577
原来是node2语node3的yarn-site.sh没有配置 好。在wokers里面一定要有三台节点。开始始终只有主节点信息，
hadoop显示只有一个datanode节点启动
weixin_45430750的博客
12-30 3010
问题描述：Hadoop集群启动正常，所有节点正常启动，WebUI 界面正常展示，但是Web界面上只显示一个datanode节点在LIve Nodes 查看配置文件全部没问题，集群三台主机节点正常，数据节点只显示一台，说明集群将三个数据节点识别为一个，那么datanode节点VERSION是一致的 集群设置的临时数据位置在 /opt/module/hadoop-3.1.4/data/tmp/dfs/data/current/ 发现storageID和datanodeUuid是一致的，所以修改stora
hadoop只显示一个DataNode
zsmxiaoci的博客
10-06 1744
hadoop报错解决
hadoop集群所有Datanode都启动成功但是web页面却是只有一个Livenode的解决方案
qq_45112156的博客
07-05 4433
问题描述：（文本叙述请耐心看完） 本人搭建主机现状：三台centos7虚拟机，在网络配置中已经配置好，hdfs配置文件也已经三台机器全部搞定（配置的确都没问题了，请大家仔细检查自己的）。 *我的三台机器所有的datanode都启动成功了，但是进入web页面却显示只有一个Livenode而且一般为master主机，且在这个web页面进入datanodes这一栏下查看在线的节点，可能会看到的是这个master后面的ip不是自己设置的ip啊！*那么问题来了既然不是自己设置的IP如何能用自己设置的ip进入这个端口呢
hadoop 的webGUI中只显示一个datanode且名字是localhost
qq_47780707的博客
04-21 2690
找了很多资料都是说/etc/hosts文件中写错了，但自己并没有配错。 然后才搜索到一位大佬的总结 发现每个主机的hostname默认为localhost，应该在每个机子都用hostname 命令改为hadoop中机子的命名：如：hostname Slave1 ...
hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode
愤怒的苹果ext的博客
11-01 1万+
在配置hadoop集群时，由于大多都是复制到每个节点上的，这就导致了datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID 只需要稍微修改下这2个id的值重新启动就可以了。 就这样就行了。
hadoop集群结果只有一个namenode节点
03-17
<think>好的，我现在需要解决用户提出的Hadoop集群中只有单个NameNode节点的问题。用户希望配置集群以包含多个NameNode节点，或者排查为什么只显示一个的原因。让我先理清思路。 首先，根据用户提供的引用资料，Hadoop的高可用（HA）配置通常使用两个NameNode，一个Active，一个Standby，通过QJM和ZKFC来管理。所以，如果集群只显示一个NameNode，可能是因为没有正确配置HA，或者配置过程中出现了问题。 接下来，我需要考虑用户可能遗漏的配置步骤。例如，是否启用了HA？是否正确配置了JournalNodes？ZooKeeper的设置是否正确？这些都是常见的问题点。此外，用户提到引用[3]中提到集群有3个DataNode和2个NameNode，但问题可能出在配置文件的错误，比如hdfs-site.xml中的相关参数是否正确。 然后，用户可能需要检查日志文件，查看NameNode的启动情况。如果其中一个NameNode未能成功启动，可能是因为端口冲突，或者资源不足，比如内存分配不够。引用[4]提到两个NameNode都是Standby状态，这可能与ZooKeeper的元数据未初始化有关，需要执行hdfs zkfc -formatZK命令。 另外，用户可能没有正确配置自动故障转移，导致虽然有两个NameNode，但无法自动切换状态。需要检查是否启用了自动故障转移，并配置了正确的ZooKeeper地址。此外，网络问题也可能导致节点间通信失败，比如防火墙阻止了必要的端口，如JournalNode的8485端口或ZKFC使用的端口。 可能还需要验证配置文件中的NameNode IDs是否正确，避免配置错误导致其中一个节点不被识别。同时，检查启动脚本是否正确，确保两个NameNode都被正确启动，比如在start-dfs.sh之后是否还需要单独启动某个服务。 最后，用户可能需要参考官方文档或社区的最佳实践，确保所有配置步骤都被正确执行。如果问题依旧存在，查看日志文件中的错误信息将是最直接的排查方法。</think>### Hadoop集群配置多NameNode节点的解决方案 #### 一、排查当前NameNode数量 1. **通过Web UI验证** 访问默认端口9870的NameNode Web界面（如`http://<namenode-ip>:9870`），在页面顶部检查显示的NameNode角色（Active/Standby）和数量。若只显示单个节点，说明高可用未生效[^3]。 2. **命令行检查** 执行以下命令验证NameNode状态： ```bash hdfs haadmin -getServiceState nn1 # nn1为配置的NameNode逻辑名称 hdfs haadmin -getServiceState nn2 ``` --- #### 二、配置多个NameNode的核心步骤（高可用方案） 1. **前提条件** - 至少2台NameNode服务器 - 奇数个JournalNode（至少3台） - ZooKeeper集群（至少3台） 2. **关键配置文件修改** **`hdfs-site.xml`** 需包含以下参数： ```xml <!-- 启用HA --> <property> <name>dfs.nameservices</name> <value>mycluster</value> <!-- 集群逻辑名称 --> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> <!-- 两个NameNode逻辑ID --> </property> <!-- 配置RPC地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>namenode1-host:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>namenode2-host:8020</value> </property> <!-- 配置JournalNode集群 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/path/to/journalnode/data</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://jn1-host:8485;jn2-host:8485;jn3-host:8485/mycluster</value> </property> <!-- 启用自动故障转移 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> ``` **`core-site.xml`** 需配置ZooKeeper地址： ```xml <property> <name>ha.zookeeper.quorum</name> <value>zk1-host:2181,zk2-host:2181,zk3-host:2181</value> </property> ``` --- #### 三、常见问题排查 1. **JournalNode未启动** 检查所有JournalNode节点是否运行： ```bash jps | grep JournalNode ``` 需保证至少半数以上节点存活（如3台至少2台在线）。 2. **ZooKeeper元数据未初始化** 若两个NameNode均为Standby状态，执行： ```bash hdfs zkfc -formatZK # 初始化ZK元数据 ``` 随后重启集群：`start-dfs.sh`[^4]。 3. **防火墙/端口限制** 验证以下端口是否开放： - **JournalNode**: 8485 (TCP) - **ZKFC**: 8019-8021 (TCP) - **ZooKeeper**: 2181,2888,3888 (TCP) 4. **日志分析** 检查NameNode日志（`$HADOOP_HOME/logs/hadoop-*-namenode-*.log`），重点关注： - `Failed to connect to JournalNode`（网络问题） - `Cannot lock storage`（元数据目录权限问题） - `No valid quorum`（JournalNode存活数量不足） --- #### 四、性能优化建议 若已配置多NameNode但仍出现性能瓶颈（如引用[5]所述），可考虑： 1. **启用联邦架构（HDFS Federation）** 通过多个命名空间横向扩展 2. **调整锁机制参数** 修改`dfs.lock.numretries`和`dfs.lock.retry-interval-ms` 3. **升级硬件配置** 为NameNode分配更多内存（建议≥64GB） ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值