YARN查看和切换ResourceManager的状态

YARN 切换ResourceManager主备 (2)当YARN的HA配置中开启了自动故障转移时,需加上-forcemanual 参数(谨慎使用此参数)手动切换到STANDBY。手动切换到ACTIVE。 阅读详情
AI摘要

本文详细介绍了如何在YARN高可用(HA)配置下,通过特定命令获取ResourceManager(RM)的活动(ACTIVE)与备用(STANDBY)状态,以及如何手动切换这些状态。同时,还探讨了在自动故障转移开启时,如何使用带有特定参数的命令来实现状态切换。

当YARN开启了HA之后,我们想要知道两个ResourceManager中哪台是ACTIVE,哪台是STANDBY状态,可以通过下面的方式来获取或切换它们的状态。

YARN的HA机制是配置在hadoop的etc目录下的yarn-site.xml文件中,如下示例代码:

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>

<!-- 两个RM的ID -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>master2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>master2:8088</value>
</property>
<property>
  <name>hadoop.zk.address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

从XML配置中可以看到两个RM的ID,我们可以使用下面的命令根据该ID获取它们的状态:

#获取rm1的节点状态
yarn rmadmin -getServiceState rm1
>>active

#获取rm2的节点状态
yarn rmadmin -getServiceState rm2
>>standby

#获取所有RM节点的状态
yarn rmadmin -getAllServiceState
>>rm2               standby   
>>rm1               active 

使用下面的命令可以检查RM的健康情况,当出现问题时会返回0以外的状态码:

#检查RM节点健康情况
yarn rmadmin -checkHealth <serviceId>

#使用$?获取上一个命令的返回状态,返回0表示健康,否则不健康
echo $?

 同样,我们也可以手动的切换这两个RM的状态:

#手动将 rm1 的状态切换到STANDBY
yarn rmadmin -transitionToStandby rm1

#手动将 rm2 的状态切换到ACTIVE
yarn rmadmin -transitionToActive rm2

当YARN的HA配置中开启了自动故障转移(yarn.resourcemanager.ha.automatic-failover.enabled)时,上面的命令不可用,此时可以加上-forcemanual 参数令其可用(谨慎使用此参数)。

#手动将 rm1 的状态切换到STANDBY
yarn rmadmin -transitionToStandby -forcemanual rm1

#手动将 rm2 的状态切换到ACTIVE
yarn rmadmin -transitionToActive -forcemanual rm2

当手动的切换到ACTIVE状态时,YARN会检查当前是否有ACTIVE的RM,这样做是为了避免出现脑裂的情况。如果想要强制切换ACTIVE状态时不检查当前是否有存活的RM可以使用-forceactive 参数(谨慎使用此参数)。

#手动将 rm2 的状态切换到ACTIVE,且不检查RM状态
yarn rmadmin -transitionToActive -forceactive -forcemanual rm2

例:

 

希望本文对你有帮助,请点个赞鼓励一下作者吧~ 谢谢!

HDFS 和 YARN 的 HA 故障切换 一 非 HDFS HA 集群转换成 HA 集群 二 HDFS 的 HA 自动切换命令 1 获得当前 NameNode 的 active 和 standby 状态 2 NameNode 的 active 和 standby 状态切换 3 HDFS HA自动切换比手工切换多出来的步骤 三 ResourceManager 的 HA 自动切换命令 1 获得当前 RM 的 active 和 standb 阅读详情

相关推荐

Hadoop 运行故障排查记录

1. 故障描述 hadoop 启动后,能够正常执行程序(hadoop jar …)若干次(小于10次),然后再要执行,就开始出现各种故障,包括但不限于 1.1 namenode 故障 一个 namenode: 9000 端口 connection refused 两个 namenode 都是 standby 状态 以下描述,等等: org.apache.hadoop.ipc.RemoteEx...

weixin_43672764的博客 716

Yarn 常用命令 开发重点

文章目录Yarn 常用命令(开发重点)查看任务 yarn application列出正在执行的所有任务 yarn application -list根据Application状态过滤 yarn application -list -appSates 状态Kill掉Application yarn application -kill 任务名查看日志 yarn logs查询Application日志 yarn logs -applicationId applicationId查看Container日志 yar

好好学习天天向上 2681

YARN 的 ResourceManager 失败后,如何恢复任务

这个为什么在这个时候启动,原因是第四步格式化的时候,需要用到journalnode,否则报8485连接超时的问题,格式化会失败的。本身集群是可以启动两个namenode的,但是由于第一次启动的话,bigdata02上没有格式化,所以无法启动,第二次就不需要了。高可用性(HA)是YARN的核心功能,通过配置多个RM实例(一个Active,一个或多个Standby),确保故障时无缝切换。这个服务默认会启动journalnode,但是由于你之前已经单独启动过了,所以启动它会报三个警告,可以忽略,无所谓。

2301_80954266的博客 1025

如何启用和配置YARN

Apache Hadoop的YARN(Yet Another Resource Negotiator)是一个集群资源管理器,用于分配和管理集群中的资源。本文将介绍如何启用和配置YARN。

m0_53157282的博客 2464

【Yarn】 Yarn ResourceManager 重启机制

ResourceManager负责资源管理和应 用的调度,是YARN的核心组件,存在单点故障的问题。ResourceManager Restart重启机制是使RM在重启动时能够使Yarn集群正常工作的特性,并且使RM的出现的失败不被用户知道。重启机制并不是自动帮我们重 启的意思。所以说不能解决单点故障问题。

九师兄 1108

告别绕线!用Altium Designer从零设计一个PCB平面变压器(附3D模型)

本文详细介绍了如何使用Altium Designer从零设计一个PCB平面变压器,包括磁芯选型、电气参数计算、PCB设计实战技巧以及3D验证与生产输出。通过将绕组直接集成到PCB层中,配合嵌入式磁芯,实现了小型化、高功率密度的电源设计,适用于中低电流、高频应用场景。附3D模型,帮助读者快速掌握这一创新设计流程。

weixin_33716154的博客 441

YARN查看和切换ResourceManager的状态_查看resourcemanager状态

时,上面的命令不可用,此时可以加上*-forcemanual* 参数令其可用(谨慎使用此参数)。经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**当YARN的HA配置中开启了自动故障转移(

asdakdnfh的博客 931

Python爬虫实战:5分钟搞定Boss直聘数据抓取(附完整代理IP配置)

本文详细介绍了如何使用Python爬虫高效抓取Boss直聘的招聘数据,包括环境配置、反爬策略、数据采集与存储、数据分析等完整流程。通过实战案例,帮助开发者快速掌握招聘市场数据抓取技术,为职业决策提供数据支持。

weixin_30832143的博客 346

YARN查看和切换ResourceManager的状态_查看resourcemanager状态(1)

时,上面的命令不可用,此时可以加上*-forcemanual* 参数令其可用(谨慎使用此参数)。当YARN的HA配置中开启了自动故障转移(

asdakdnfh的博客 572

openEuler服务器离线安装实战:从Docker到Samba的完整避坑指南

本文提供了一份详尽的openEuler服务器离线部署实战指南,重点解决了在无网络环境下安装Docker、Samba等软件的依赖难题。文章深入对比了`dnf install`、`rpm`直接安装及禁用仓库安装三种核心方法,并分享了构建本地DNF仓库的进阶策略,旨在帮助运维人员构建高效可靠的离线部署工作流。

weixin_29210759的博客 71

IAR9.30以上版本安装、注册、新建工程和配置过程详细介绍

IAR 一般是指一款嵌入式软件的集成开发环境,类似于 MDK-Keil 这款软件。IAR 对于不同的内核处理器,是对应不同的 IAR 软件的,IAR 到目前为止支持大部分的MCU,比如8051系列、ARM架构系列、MSP430系列、AVR系列等等这些常用的芯片架构。对于 ARM 架构的芯片,有对应的 IAR Embedded Workbench for ARM 软件平台,因为我主要是使用 ARM 架构芯片,下面安装、注册和使用都是基于这个版本进行介绍的。

luobeihai的博客 6万+

YARN查看和切换ResourceManager的状态_查看resourcemanager状态(2)

获取上一个命令的返回状态,返回0表示健康,否则不健康。#手动将 rm2 的状态切换到ACTIVE,且不检查RM状态。#手动将 rm1 的状态切换到STANDBY。#手动将 rm1 的状态切换到STANDBY。#手动将 rm2 的状态切换到ACTIVE。#手动将 rm2 的状态切换到ACTIVE。#获取所有RM节点的状态。#获取rm1的节点状态。#获取rm2的节点状态。#检查RM节点健康情况。

asdakdnfh的博客 694

企业级AI项目落地实战指南

企业级 AI 项目落地需构建“分阶段实施 + 多维度风控”的双轮驱动体系:实施端通过 POC 验证技术可行性、试点建立评估标准、规模化实现价值复制,各阶段需结合行业案例(如东阳光药、旺盈集团)提炼可复用经验;风险端则需覆盖技术(数据安全、模型稳定性)、合规(全球监管动态)、组织(人才与文化)维度,通过工具化框架(AI TRISM)与案例策略(邮储银行可解释性设计、拓斯达培训体系)实现风险可控。最终通过“场景聚焦 - 合规嵌入 - 持续优化”的循环机制,实现 AI 技术从“试点成功”到“全面价值创造”的跨越。

2509_93209761的博客 1436

resourcemanager ha发生切换时flink任务会全部失败

在YARN ResourceManager(RM)发生HA切换后,即使RM自身成功故障转移,但Flink任务仍然全部失败,这通常是由于或导致的。以下是根本原因分析和解决方案:yarn在zookeeper中,至少保存ResourceManager 选举元数据,flink应用程序元数据,非别位于不同目录,都有默认值。

weixin_46590500的博客 1333

CGNS快速入门到实战(二):VS配置调用CGNS静态链接库

CGNS快速入门到实战这一系列分成三篇文章展开叙述,具体有:(一)CGNS静态链接库编译;(二)VS配置调用CGNS静态链接库;(三)CGNS文件及案例展示。本篇文章重点讲述VS配置调用CGNS静态链接库。

ahang_99的博客 2616

Ubuntu 24.04 LTS安装WPS Office 2025冬季版全攻略(附字体缺失解决方案)

本文提供了在Ubuntu 24.04 LTS系统上安装WPS Office 2025冬季版的完整指南,详细对比了dpkg、Snap和GUI三种安装方式的优劣。针对安装后常见的中文字体缺失、思源黑体粗细异常等核心问题,给出了从原理分析到手动补充字体库、修改字体配置文件的深度解决方案,确保WPS Office在Linux环境下获得最佳使用体验。

weixin_29284201的博客 618

YARN的ResourceManager故障恢复全解析

摘要:YARN通过高可用性(HA)机制实现ResourceManager(RM)故障后的任务自动恢复。HA采用Active/Standby RM架构,结合ZooKeeper选举机制和状态存储(如HDFS),确保新RM能快速接管并恢复应用程序状态。NodeManager和ApplicationMaster会重新注册,任务从断点继续执行。配置时需启用HA并设置共享存储,建议定期测试故障转移,优化超时参数。启用HA可避免单点故障,保证任务持续运行和数据完整性。具体配置包括修改yarn-site.xml文件,启动多

weixin_51976489的博客 868

手把手教你学 Simulink (1.3):探索Simulink模块库的奇妙世界

Simulink模块库按照功能分为多个类别,每个类别包含专门用于特定任务的模块。% 打开Simulink库浏览器% 或者以编程方式获取库列表disp('可用的库列表:');end常用模块(Simulink):最基础和最常用的模块信号处理模块(DSP System Toolbox):专业信号处理工具通信模块(Communications Toolbox):通信系统设计控制系统模块(Control System Toolbox):控制系统设计与分析% 创建自定义模块库。

QQ_778132974的博客 380

YARN 的 ResourceManager 失败后,如何恢复任务?

当ResourceManager(RM)失败后,任务的恢复并不像“重启任务”那么简单,因为它是一个有状态的核心调度器。YARN通过​ 机制来解决这个问题。其核心思想是:​​下面是ResourceManager高可用(HA)架构与故障恢复流程的详细示意图:YARN ResourceManager失败后的恢复,并非直接“恢复任务”,而是通过一套​:​​:Active RM持续将状态写入。​​:​​ 监控Active状态并协助Standby RM选举。​​:新的Active RM从,重建内存状态。

二进制专栏 1097

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

YARN高可用核心机制:深度解析ResourceManager故障恢复与任务接管

用户无法提交新的应用程序,运行中的任务虽然不会立即停止(因为ApplicationMaster和Container仍在NodeManager上运行),但将失去统一的管理和调度能力,无法申请新的资源,无法处理任务失败,最终导致业务中断和数据不一致。本文将深入剖析YARN ResourceManager故障恢复的技术内幕,从高可用架构的搭建,到故障发生时的检测与切换,再到新RM如何一步步重建集群状态并恢复任务管理,为读者全面解读这一保证大数据平台连续稳定运行的核心机制。这是恢复过程中最关键的一步。

xiaolin030的博客 1887

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

YARN集群的高可用性秘诀:ResourceManager故障转移全指南

通过本文的学习,读者应该能够理解并实现YARN集群的ResourceManager故障转移。从基本概念到详细配置,再到实践操作,本文提供了全面的故障转移解决方案。希望读者能够在实际工作中应用这些知识,确保YARN集群的稳定运行和高可用性。

2401_85761003的博客 1495

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

YARN 中 ResourceManager 故障后任务恢复实战指南​

YARN中ResourceManager故障的任务恢复机制解析 本文深入分析了YARN中ResourceManager(RM)故障的影响及恢复方案。主要内容包括:1)RM故障场景分类(单点故障、脑裂问题等)及对任务的直接影响;2)YARN任务恢复核心机制,包括自动故障转移(HA)的实现原理和任务恢复流程;3)手动恢复操作指南和优化建议,涵盖配置优化、监控预警和数据持久化等方面;4)典型故障案例解析。文章提供了从理论到实践的完整解决方案,帮助用户有效应对RM故障问题,确保集群稳定运行。

a88d266的博客 612

HDFS 和 YARN 的 HA 故障切换【转】

来源:https://blog.youkuaiyun.com/u011414200/article/details/50336735 一 非 HDFS HA 集群转换成 HA 集群二 HDFS 的 HA 自动切换命令1 获得当前 NameNode 的 active 和 standby 状态2 NameNode 的 active 和 standby 状态切换3 HDFS HA自动切换比手工切换多出来的步骤三 ...

weixin_33966095的博客 345

YARN的ResourceManager故障(一)

cdh6.2仍然无法解决zookeeper注册信息过期造成yarn的主备脑裂问题。yarn无法启动、无法手动切换主备等。 解决办法一 我们需要删除yarn在ZK上的 rmstore 信息, 之后重启yarn,就可以了。 但是在删除zk上 rmstore 信息的时候, 遇到了问题, yarn在注册时候的时候自己添加上ACL。所以我们直接删除是不行的。 但我们可以可以重新设置一个ACL(Access Control List),就可以了, 如下: # 连接zookeeper,如果是客户端需添加 -serve.

LW_ICE 2056
上一篇: 分布式文件系统:HDFS 核心原理
下一篇: 分布式资源调度管理框架:YARN的架构及工作原理
王义凯_Rick
王义凯_Rick 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄14年 858粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘,路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值