hadoop HA高可用搭建 yarn 两个ResourceManager状态都为standb

重启yarn导致rm都为standby分析 1、问题现象 调整yarn参数配置后,重启两个rm服务,重启后rm状态都为standby 2、问题分析 查两个rm日志都显示如下 两点错误信息,一个是都为standby状态,一个是很多的application任务失败 还有zk日志中会一直刷连接zk问题 3、问题解决 进入zookeeper控制台,找到保存yarn任务的地方,删除yarn任务信息 ls /rmstore/ZKRMStateRoot/RMAppRoot 不为空则使用该命令rmr /rmstore/ZKRMSta.. 阅读详情

1.yarn,两个ResourceManager状态都为 standby

在这里插入图片描述

错误信息:

org.apache.hadoop.ha.ServiceFailedException: RM could not transition to Active
2022-08-10 20:04:19,009 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: AsyncDispatcher is draining to stop, ignoring any new events.
2022-08-10 20:04:19,009 INFO org.apache.hadoop.service.AbstractService: Service RMActiveServices failed in state STARTED
java.lang.IllegalArgumentException: java.net.UnknownHostException: king
	at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:447)
	at org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol(NameNodeProxiesClient.java:139)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:356)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:290)
	at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:171)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:476)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:227)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:463)
	at org.apache.hadoop.fs.Path.getFileSystem(Path.java:365)
	at org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore.startInternal(FileSystemRMStateStore.java:155)
	at org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore.serviceStart(RMStateStore.java:746)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMActiveServices.serviceStart(ResourceManager.java:868)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startActiveServices(ResourceManager.java:1262)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:1303)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:1299)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.transitionToActive(ResourceManager.java:1299)
	at org.apache.hadoop.yarn.server.resourcemanager.AdminService.transitionToActive(AdminService.java:327)
	at org.apache.hadoop.yarn.server.resourcemanager.ActiveStandbyElectorBasedElectorService.becomeActive(ActiveStandbyElectorBasedElectorService.java:144)
	at org.apache.hadoop.ha.ActiveStandbyElector.becomeActive(ActiveStandbyElector.java:896)
	at org.apache.hadoop.ha.ActiveStandbyElector.processResult(ActiveStandbyElector.java:476)
	at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:610)
	at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:508)
Caused by: java.net.UnknownHostException: king

问题源于yarn-site.xml文件中配置的问题,导致无法在zookeeper集群存储节点状态,增加下面配置后重启

<!--指定resourcemanager的状态信息存储在zookeeper集群-->
<property>
	<name>yarn.resourcemanager.store.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

重启后运行正常
在这里插入图片描述

【hadoop】HA集群时遇到的问题 【持续更新】解决一些使用HA集群遇到的问题,包括搭建、使用、开发等 1、在格式化HDFS时报错: 19/11/21 16:44:25 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to ... 阅读详情

相关推荐

Ubuntu环境下rknn-toolkit2的安装与兼容性解析

本文详细解析了在Ubuntu系统上安装瑞芯微rknn-toolkit2工具链的完整流程与关键注意事项。文章重点剖析了rknn-toolkit2与旧版rknn-toolkit的核心兼容性问题,强调两者在API、模型格式及运行时库上互不兼容,并推荐使用Conda虚拟环境进行隔离管理,为RK3566、RK3588等开发板的AI模型部署提供清晰的实践指南。

weixin_29041767的博客 375

YARN集群遇到的问题

目录1.YARN HA集群中主备切换失败 1.YARN HA集群中主备切换失败 问题描述:HDFS HA集群、YARN HA集群,使用zookeeper集群监控。namenode主备切换正常,而resourcemanager主备切换失败。查看standby状态的resourcemanager启动日志发现错误信息: org.apache.hadoop.ha.ServiceFailedExceptio...

疏影横斜水清浅 1743

强化学习_06_pytorch-TD3实践(BipedalWalkerHardcore-v3)

DDPG的critic会高估, 从而导致actor策略失败。TD3是增加了三个关键技巧优化DDPG。经过优化后的TD3(Twin Dalayed DDPG 双延迟深度确定性策略梯度算法)适合于具有高维连续动作空间的任务。

RL小站 2690

hadoop集群启动yarn之后查看resourcemanager状态出现两个standby、nodemanager启动一段时间自动关闭、连接拒绝情况解决办法

hadoop集群启动yarn之后查看resourcemanager状态出现两个standby、nodemanager启动一段时间自动关闭、连接拒绝情况解决办法 问题描述: 1. 查看RM(resourcemanager)状态bin/yarn rmadmin -getServiceState rm1、bin/yarn rmadmin -getServiceState rm2----出现都为sta...

lxy_1204的博客 9556

基于matlab版本的三维直流电法反演算法

可以使用RESINVM3D工具包等现成的MATLAB工具进行三维直流电法反演。反演问题求解:基于MATLAB的反演问题求解算法实现和应用,包括反演问题数值模拟、反演问题参数优化和反演问题结果分析。希望这个代码示例能帮助你入门三维直流电法反演。如果有更具体的需求或问题,可以进一步探讨。反演过程中可能需要调整正则化参数和优化算法的设置。需要根据实际问题实现,可能涉及复杂的数值计算。

ytttr873的博客 668

华为OD机试真题 新系统 9月16号 【统计特殊数字】

华为OD新系统机试真题【统计特殊数字】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【统计特殊数字】。

qq_45776114的博客 767

zookeeper delete yarn rmstore

cdh6.2仍然无法解决zookeeper注册信息过期造成yarn的主备脑裂问题。 摘录别人的文章:https://sukbeta.github.io/zookeeper-delete-yarn-rmstore/ 错误日志(日志可能会有不同,现象就是无法手动切换主备) 2019-06-16 21:07:39,030 WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=yarn OPERATION=transitionT

nickyu888的博客 1602

JavaScript实现边缘检测Canny(附完整源码)

JavaScript实现边缘检测Canny(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 707

虚拟机群安装多个hadoop集群时遇到的问题

背景,原来在我的虚拟机集群(nn1,nn2)中安装的是cdh23502,后来做升级实验,升到cdh26550,因为生产中使用的环境是cdh23502,所以再次切换回去。 切换的过程中,遇到一些问题,特记录于此。仍然共用原来的zookeeper 1 启动nodemanager的时候,报异常如下: FATAL org.apache.hadoop.yarn.server.nodemanage...

weixin_30684743的博客 625

Unity中实现俄罗斯方块

二:实现思路 ——创建每一个方块可移动到的位置点,可以理解为创建一个游戏地图,从(0,0)点开始依次向x轴和y轴延伸,例如x最大为9,y最大为19,则创建了一个20行10列的地图 ——制作每一个形状的预制体,Shape是每一个整体形状,Block是每一块小方块,CenterPos代表这个形状的旋转中心 ——创建GameController脚本控制游戏逻辑,挂载到面板物体上。创建Block脚本控制每个形状的操作,挂载到每个形状上 ——在GameController脚本中编...

L的博客 8559

28-手把手教你手写CPU-Verilog - 乘法器设计:Booth算法与Wallace树乘法器

文章摘要: 本文详细介绍了两种高效乘法器设计方法:Booth算法和Wallace树乘法器。Booth算法通过检测乘数连续1/0减少部分积,适合有符号数运算;Wallace树采用树形结构压缩部分积,显著降低延迟。文章包含算法原理、具体示例、Verilog实现代码(4位乘法器)及性能对比表,指出Booth适用于通用处理器,Wallace树更适合高性能DSP/GPU。最后强调实际设计中需根据速度、面积和功耗需求选择合适方案。

2301_79143213的博客 206

Hadoop2.x ResourceManager启动之服务启动

RM是个综合服务类,内部包含了多个服务,所有的服务被放在列表中,通过循环逐个启动,其他服务的列表如下:

海盗的小菜园 4898

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

HDFS Client UnknownHostException: NAMESERVICE

问题现象 HDFS Client抛出如下异常: java.net.UnknownHostException: NAMESERVICE at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374) at org.apache.hadoop.hdfs.NameNodeProxi

独行的卡卡的博客 3981

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

配置hadoopHA(高可用集群)常见错误解决办法

乾坤未定,你我皆是黑马。 在学习hadoop过程中, 1.在启动第二个节点的namenode时候,出现错误。 InconsistentFSStateException:Directory/opt/modules/hadoopha/hadoop-2.5.2/data/tmp/dfs/nameisinaninconsistentstate:st...

盖世英雄来了 6822

Hadoop 自动故障转移

场景 三节点二namenode情况下,一个namenode(nn1)挂掉,手工将另一个name提升为active节点报错:hdfs haadmin -transitionToActive nn2 21/02/27 00:24:16 INFO ipc.Client: Retrying connect to server: hadoop01/192.168.26.10:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCoun..

d_a_e_m_o_n的博客 1068

两个resourcemanager都处于standby,zkfc无法切换resourcemanager

该问题是对yarn-site.xml文件里的内存分配调整造成的, 当 强制变换yarn-resourcemanager为active报错 yarn rmadmin -transitionToActive  --forcemanual  rm1 You have specified the forcemanual flag. This flag is dangerous, as it c

qq_23280769的专栏 5523

java.net.UnknownHostException: dbmtimehadoop

完整报错如下: $ spark-submit --class WordCountLocal --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 1g --executor-cores 1 /home/appleyuchi/IdeaProjects/scala-learn/target/scala-l...

微电子学与固体电子学-俞驰 847

Yarn ResourceManager HA 故障转移问题定位

Yarn ResourceManager HA 故障转移问题定位

anguoan的博客 1622

hadoop任务执行时,报错

2020-11-06 03:42:43,205 ERROR org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplicationAttempt: Error trying to assign container token and NM token to an allocated container container_1604647286933_0002_01_000001 java.lang.IllegalArgumen

2266

大数据之Hadoop平台(四)Centos6.5(64bit)Hadoop2.5.1、Zookeeper3.4.6、Hbase0.98.6.1安装使用过程中错误及解决方法...

一、Hadoop相关 1.运行wordcount例子 错误信息: Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 14/10/11 17:19:49 INFO mapreduce.Job: Task Id : attempt_141301...

weixin_30339969的博客 244

Hadoop HA集群全是standBy解决办法

Hadoop HA集群全是standBy解决办法

南风知我意 1256

Hadoop HA集群两个NameNode都是standby或者主NameNode是standby,从NameNode是active的情况集锦

这里说一下配置Hadoop HA集群可能出现的两种情况,第一种就是两个NameNode都是standby,第二种就是主Master是standby,从Master是active。

从事移动开发八年,csdn博客专家,阿里云特邀专家,华为云云享专家,高级网络信息安全工程师,大数据工程师(高级),python技术开发(高级),HarmonyOS 应用开发者高级认证,现在某学校任教。 5万+

YARN 启动后失败退出——没有请求资源——Invalid resource request, no resources request...

在ambari-server中修改了yarn的配置,重新启动服务,结果RM启动失败,错误也很奇怪,“不合理的资源请求,没有请求任何资源”!详细如下: 2018-08-21 16:06:16,639 FATAL resourcemanager.ResourceManager (ResourceManager.java:main(1495)) - Error starting ResourceMan...

weixin_34112181的博客 719

大数据基础之Yarn-ResourceManager无法正常启动

在hadoop生态中,如果yarn的ResourceManager为HA形式,有时会遇到一个问题,两个ResourceManager的状态都为备用状态,无法正常工作,此时,我们可以简单粗暴的执行以下命令: yarn resourcemanager -format-state-store(在resourcemanager对应的节点执行) 注:该命令是格式化resourcemanager的,此命令执行后之前由于异常退出的任务记录会丢失,不会执行失败的任务。需要手动去执行失败的任务。 ...

优快云_XIAOXIA_的博客 2150

用hive执行select查询,使用mapreduce离线查询就一直卡在这里,原来是yarn出了问题,两个节点都是standby!【已解决】

求高人指点!!!

一个bug修一年的博客 1049
上一篇: idea maven 每次刷新后jdk的版本就会变成1.5
下一篇: hadoop HA高可用搭建流程
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值