cdp集群yarn组件ResourceManager无法启动问题记录

已于 2024-03-26 13:23:39 修改
阅读量1.2k 收藏 10
点赞数 18
分类专栏： Hadoop 文章标签： sql hadoop 大数据 yarn
于 2024-03-20 11:09:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/M_red/article/details/136866271
版权

前言：cdp集群装了Kerberos认证，在进行权限集成时集群所有组件高可用状态失效，yarn组件ResourceManager停止

查看ResourceManager组件日志，报错如下：

Error starting ResourceManager
org.apache.hadoop.service.ServiceStateException: org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /rmstore/ZKRMStateRoot

初步分析，怀疑可能和zookeeper有关
查看zookeeper组件状态，三个节点一切正常

查看zookeeper日志，所有节点日志统一输出

Submitting global closeSession request for session 0x10005e3ff990515

这看着肯定有问题，估计是权限啥的

问问万能的chatgpt，怎么回答的：

ResourceManager 在启动过程中遇到了 Zookeeper 认证权限的问题。具体来说，出现了 “NoAuthException: KeeperErrorCode = NoAuth for /rmstore/ZKRMStateRoot”。

关于zookeeper上面的报错，我把连接指定ip了

[zk: localhost:2181(CONNECTED) 9] getAcl /


最低0.47元/天 解锁文章
Flink教程(1)-集群安装与部署
鸟哥哥的专栏
11-01 1万+
Flink教程。Flink集群安装部署。Flink 是一个同时具备流数据处理和批数据处理的分布式计算框架。Flink代码主要是由 Java 实现，部分代码由 Scala实现。Flink既可以处理有界的批量数据集、也可以处理无界的实时数据集。就业界的使用情况而言，Flink处理的主要场景是流式数据。Flink不同于Spark、Hadoop， Flink称得上是一款真正的流、批统一的大数据计算框架。
Hadoop ResourceManager :Error starting ResourceManager，Port in Use
fang.lovest.yang的博客
07-30 1032
问题 在fang1.fri.com启动yarn，yarn.site.xml配置的ResourceManage为fang2.fri.com,报错如下： fang1.fri.com fang2.fri.com fang3.fri.com NameNode ResourceManage DataNode DataNode D
hadoop报错——ResourceManager无法启动
weixin_63507910的博客
04-14 3372
本次的遇到的问题为启动Hadoop集群后，jps查看进程中，ResourceManage节点没有启动，导致无法访问http://localhost:8088，通过查看ResourceManage的启动日志，日志中给出的错误为，笔者初步判断为yarn-site.xml文件未填写Zookeeper的端口，以及设置开启自动恢复和故障自动转移。
Hadoop启动不了resource-manager
qq_43079328的博客
12-07 2254
最初打算搭建一个单节点伪分布式hadoop,参照网上一些参考后发现用yarn 启动resource-manager启动不起来。
启动yarn时，resourcemanager启动失败
bragen的博客
02-14 6352
使用启动yarn后，再使用jps查看进程，发现只有Notemanager启动了，而resourcemanager没有启动。
Hadoop 启动了之后， ResourceManager未起来的问题解决
热门推荐
基咯咯
01-16 7万+
今天早上同学让我帮忙启动了下集群，首先就要启动hadoop，jps进程看了下： 2128 QuorumPeerMain 12178 Jps 8259 SecondaryNameNode 7993 NameNode 发现Hadoop的namenode和secondarynamenode都起来了，但是resourcemanager却没有起来，但是感觉配置都没有错，这个时候去查看了日志，
resourceManager无法启动
weixin_46714278的博客
04-19 2492
resourceManager
hdfs resourcemanager 启动失败
xiannon的博客
02-15 549
win10启动resourcemanager报错解决欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图...
cdp集群yarn增加队列
最新发布
09-10
在CDP (Cloud Data Processing) 集群中，YARN (Yet Another Resource Negotiator) 是一种资源管理和调度框架，它帮助Hadoop生态系统管理计算资源。如果你想要在YARN上增加队列，你需要遵循以下步骤： 1. **权限检查...
大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
明哥的IT随笔
09-22 2106
CDP中如何做到不同业务用户的 HIVE 作业提交到不同的 YARN 队列，以达到资源隔离的目的？
高可用集群搭建系列文章之三：Hadoop集群搭建
thinkhui的专栏
10-02 614
本篇文章主要介绍Hadoop HA的搭建 1、下载安装包，并解压 下载地址 解压命令如下： tar -zxvf hadoop-2.6.5.tar.gz 2、配置/etc/profile 3、配置hadoop-env.sh，添加jdk路径 export JAVA_HOME=/opt/java/jdk1.8.0_221 ...
hadoop中ResourceManager 进程或 NodeManager 进程没有启动
weixin_42592399的博客
12-28 3113
如果 ResourceManager 进程或 NodeManager 进程没有启动，可能是由于以下原因导致的: 可能是 hadoop 配置文件中的错误导致的。您可以检查 hadoop 配置文件，确保所有参数都设置正确。 可能是由于网络问题导致的。您可以检查网络连接是否正常，确保所有节点都能够连接到同一网络。 可能是由于硬件问题导致的。您可以检查硬件是否正常工作，确保所有节点都能够正常运行。 ...
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
m0_61213706的博客
04-26 4912
hadoop无法启动ResourceManager节点 查看日志 cd /usr/local/hadoop-3.3.0 tail -100 hadoop-root-resourcemanager-master.log 2022-04-25 09:11:44,500 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.AbstractYarnScheduler: Maximum allocation = <memory:81
HDP ResourceManager启动失败，后台也无进程
nntiek的博客
08-03 600
故障解除：删掉失效的进程号文件，或者删除所有RM进程号文件，重启RM服务。原因：手动重启过RM，或者因为其他原因导致RM后，Ambari未监控到。此时目录中肯定是多个进程号文件，导致RM启动时不知道找哪个启动。进入ResourceManager记录进程号的目录。
Resourcemanager启动失败： java.net.BindException: Problem binding to [hadoop103:8031] java.net.Bi
qq_51490070的博客
04-07 2881
启动yarn,nodeManager都起来了，resourcemanager起不来， 查看日志：错误下： Caused by: java.net.BindException: Problem binding to [hadoop103:8031] java.net.BindException: 地址已在使用; For more details see: 解决办法： 退出普通用户（权限查不出来），到root用
CentOs7中resourcemanager启动不了
Faith_xzc
04-23 1795
刚开始按照尚硅谷视频配置的文件（由于自己用的localhost） jps无法启动resourcemanager 重新配置下yarn-site.xml（第二个value值为自己的虚拟机） （b）配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle<
Hadoop3的resourceManager无法启动的问题
Lilianach的博客
04-22 4742
平台 操作系统：CentOS 8 Hadoop版本：3.3.1 jdk版本：1.8 Java IDE：Eclipse 问题及解决 在window下开发Hadoop程序,一切准备就绪之后,运行代码,没有出现预期的效果,而是一直在尝试连接 在linux中jsp之后发现resourceManager没有启动: 来到在linux中安装Hadoop的目录下,进入到logs目录下,找到resourcemanager的日志文件 发现是端口号被占用: 在网上找了很多,都说是需要杀死进程,最后我打开我的yarn-
hadoop启动，缺少RM的进程：Error starting ResourceManager【已解决】
Danger
05-20 1057
Service RMActiveServices failed in state INITED; cause: java.lang.RuntimeException: org.xml.sax.SAXParseException; java.lang.RuntimeException: org.xml.sax.SAXParseException; lineNumber: 1; columnNumber: 1; Content is not allowed in prolog.
切换 Yarn 主备，两个 ResourceManager 都启动失败
02-28 679
一、背景 二、操作
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值