How-to: Enable yarn ResourceManager HA

最新推荐文章于 2024-07-10 16:34:47 发布
原创 最新推荐文章于 2024-07-10 16:34:47 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#基础架构 #hadoop #yarn #resourcemanager HA

本文详细介绍了如何在 Hadoop 集群中配置 YARN 的高可用性（HA），包括更新 yarn-site.xml 文件、设置 HA 相关属性、集群名称、RM 节点信息、调度器类型、故障转移配置、状态存储与访问地址等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. Update yarn-site.xml. Add following in yarn-site.xml(master.chff.dc and slave01.chff.dc are resourcemanager nodes):
            <property>
                    <name>yarn.resourcemanager.ha.enabled</name>
                    <value>true</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
                    <value>true</value>
            </property>
            <!-- 使嵌入式自动故障转移。HA环境启动，与 ZKRMStateStore 配合 处理fencing -->
            <property>
                    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
                    <value>true</value>
            </property>
            <!-- 集群名称，确保HA选举时对应的集群 -->
            <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>yarn-cluster</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.ha.rm-ids</name>
                    <value>rm1,rm2</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.hostname.rm1</name>
                    <value>master.chff.dc</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.hostname.rm2</name>
                    <value>slave01.chff.dc</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.scheduler.class</name>
                    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.recovery.enabled</name>
                    <value>true</value>
            </property>
            <property>
                    <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
                    <value>5000</value>
            </property>
            <!-- ZKRMStateStore 配置 -->
            <property>
                    <name>yarn.resourcemanager.store.class</name>
                    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.zk-address</name>
                    <value>master.chff.dc:2183,slave01.chff.dc:2183,slave.chff.dc:2183</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.zk.state-store.address</name>
                    <value>master.chff.dc:2183,slave01.chff.dc:2183,slave.chff.dc:2183</value>
            </property>
            <!-- Client访问RM的RPC地址 (applications manager interface) -->
            <property>
                    <name>yarn.resourcemanager.address.rm1</name>
                    <value>master.chff.dc:23140</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.address.rm2</name>
                    <value>slave01.chff.dc:23140</value>
            </property>
            <!-- AM访问RM的RPC地址(scheduler interface) -->
            <property>
                    <name>yarn.resourcemanager.scheduler.address.rm1</name>
                    <value>master.chff.dc:23130</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.scheduler.address.rm2</name>
                    <value>slave01.chff.dc:23130</value>
            </property>
            <!-- RM admin interface -->
            <property>
                    <name>yarn.resourcemanager.admin.address.rm1</name>
                    <value>master.chff.dc:23141</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.admin.address.rm2</name>
                    <value>slave01.chff.dc:23141</value>
            </property>
            <!--NM访问RM的RPC端口 -->
            <property>
                    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
                    <value>master.chff.dc:23125</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
                    <value>slave01.chff.dc:23125</value>
            </property>
            <!-- RM web application 地址 -->
            <property>
                    <name>yarn.resourcemanager.webapp.address.rm1</name>
                    <value>master.chff.dc:8088</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.webapp.address.rm2</name>
                    <value>slave01.chff.dc:8088</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.webapp.https.address.rm1</name>
                    <value>master.chff.dc:8089</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.webapp.https.address.rm2</name>
                    <value>slave01.chff.dc:8089</value>
            </property>
  2. start yarn on two nodes:
    start-yarn.sh
  3. Check status:
    [hadoop@master deploy_scripts]$ yarn rmadmin -getServiceState rm1
    active
    [hadoop@master deploy_scripts]$ yarn rmadmin -getServiceState rm2
    standby
Impala中的高可用性设计：如何确保系统的可靠性和高可用性？
AI天才研究院
07-15 1996
作者：禅与计算机程序设计艺术 随着大数据、云计算、容器化、微服务等新兴技术的快速发展，越来越多的企业把数据库从单机上迁移到分布式集群中进行运行。由于分布式系统环境复杂、系统规模庞大，因此对其系统可用性要求也越来越高。而Impala作为开源分布式查询引擎，正在成为众多大数据平台的重要组成部分。为了保证Impala在真实业务场景中的高可用性，
YARN-HA 配置
weixin_45417821的博客
11-11 2047
文章目录YARN-HA 工作机制配置 YARN-HA 集群HADOOP HA 的最终规划 YARN-HA 工作机制 1）官方文档： http://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 2）YARN-HA 工作机制 配置 YARN-HA 集群 1）环境准备 （1）修改 IP （2）修改主机名及主机名和 IP 地址的映射 （3）关闭防火墙 （4）ssh 免密登录 （5）安装 JDK，配
YARN查看和切换ResourceManager的状态
王义凯 的博客
09-07 1万+
当YARN开启了HA之后，我们想要知道两个ResourceManager中哪台是ACTIVE，哪台是STANDBY状态，可以通过下面的方式来获取或切换它们的状态。
hadoop 踩坑记
magic_kid_2010的专栏
12-23 280
1、访问 yarn 8088 会被重定向到 0.0.0.0:8088 地址。 问题排查：查看了 yarn-site.xml 配置文件，yarn 的 ResourceManager 使用了高可用，配置了 rm1 和 rm2 节点。当 rm1 故障时会自动切换到 rm2。所以当 rm1 出现故障，我们访问 rm1:8088，就会出现异常。这时，应该访问 rm2:8088，就正常了。 <pr...
hadoop(5)---yarn配置 --常用配置
weixin_34082854的博客
08-20 564
以下只是对yarn配置文件（yarn.site.xml）简单的一个配置 <configuration> <!-- rm失联后重新链接的时间 --> <property> <name>yarn.resourcemanager.connect.retry-interval.ms</name> <value>2000&...
HA搭建和部署
一枚新鲜的猿的博客
11-17 2177
HA集群安装部署 1 运行环境 1.1 软件环境 四个节点 OS：64位RHEL5及以上或者64位CentOS6.0及以上 JVM：预装64位JDK 1.8及以上版本 1.2 浏览器要求 Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。 BEH-Manager-4.1.2安装包于官方网站下载：http://beh.pezy.cn/ 2 ...
Resourcemanager HA
lm709409753的专栏
01-18 2158
1.官网resourcemanager HA  Introduction This guide provides an overview of High Availability of YARN's ResourceManager, and details how to configure and use this feature. The ResourceManager (RM)
hadoop3.1.4 完全分布式搭建HA（namenode resourcemanager高可用）保姆级教程-详细步骤-快速搭建-详解配置-历史服务器
weixin_52918377的博客
05-08 1537
一. 集群规划 ip 主机名 安装进程 192.168.204.14 hdp14 namenode,ZKFC,resourcemanager 192.168.204.15 hdp15 namenode,ZKFC,resourcemanager 192.168.204.16 hdp16 natanode,nodemanager,zookeeper,Journalnode 192.168.204.17 hdp17 natanode,nodemanager,zookeeper,Jour
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1189
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
全国职业院校技能大赛-大数据应用赛项-Hadoop-HA
最新发布
Eternity_04的博客
07-10 1420
本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。
YARN-HA配置
weixin_38023225的博客
09-26 1312
1 介绍 ResourceManager（RM）负责跟踪群集中的资源，并调度应用程序（例如MapReduce作业）。在Hadoop 2.4之前，ResourceManager是YARN群集中的单点故障。高可用性功能以“活动/备用ResourceManager”对的形式添加了冗余，以消除此单点故障。 2 YARN-HA工作机制 2.1 官方文档 https://hadoop.apache.o...
Hadoop HA 集群部署（以三台为例），zookeeper集群管理
youhebuke_f的博客
10-05 3931
Hadoop ha高可用集群部署
Cloudera CDH5 RM HA功能验证
笔尖的痕的专栏
10-13 1117
硬件准备 四台机器, bj1, bj3, bj4, bj5 准备好相应的环境(包括ssh互通, java环境). 角色说明, bj1为rm1, bj3为rm2, bj4和bj4为slave. Zookeeper部属在bj1上. Hadoop版本准备http://archive.cloudera.com/cdh5/cdh/5/ 下载相应的CDH5版本hadoop-2.2.0-
基于HDFS-HA搭建一个Yarn-HA
Mr.Zheng的博客
03-05 916
前言 之前搭建好了一个HDFS的高可用，基于他点我！！！再搭建起Yarn的高可用! 常用脚本 直通车点我！！ 修改配置并且分发 yarn-site.xml ```powershell <?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you...
hadoop集群高可用配置及问题（下）
KingLionfzj的博客
12-04 629
yarn高可用配置
基于Zookeeper的ResourceManager-HA配置
热门推荐
pengjunlee的博客
08-15 4万+
前言 在YARN中，Resource Manager（RM，资源管理器）负责整个系统的资源管理和调度，在2.4版本以前，它一直是整个YARN集群的单点故障。新的ResourceManager HA通过冗余一个Resource Manager形成一种Active/Standby的架构来避免ResourceManager的单点故障。             在ResourceManager ...
配置YARN集群重启时的作业自动恢复
LittleMagic's Blog
06-11 4390
前言 我们知道，Hadoop YARN的基础架构由ResourceManager实例和NodeManager实例组成。用户提交到YARN集群的作业会抽象成ApplicationMaster和Container的形式，并由NodeManager持有和管理，如下图所示。 问题来了：如果YARN集群整体重启，是不是就意味着所有作业都被强行停止，需要用户手动恢复呢？当然不是，通过适当的配置，...
在启动hadoop高可用集群的时候ResourceManager服务进程未启动
bobobo02的博客
09-25 2398
缺少ResourceManager服务进程，最可能的原因是yarn-site.xml文件编写错误
YARN 高可用（HA）集群搭建（CDH）
leifeng100200的博客
09-28 1491
详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572 HDFS 高可用集群安装完成之后，紧接着快速搞定YARN的集群搭建。 1.修改YARN配置文件 1.1修改yarn-site.xml &lt;configuration&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager....
------------------- 启动 yarn -------------------- Starting resourcemanager ERROR: Attempting to operate on yarn resourcemanager as root
06-06
这个错误提示表明你正在使用 root 用户来启动 yarn resourcemanager，但是不建议使用 root 用户来启动 yarn，因为这会降低系统的安全性。建议你使用一个非 root 用户来启动 yarn resourcemanager。你可以通过以下命令来创建一个非 root 用户： ``` sudo adduser <username> ``` 其中，`<username>`是你要创建的用户名。然后，你可以切换到该用户并使用该用户来启动 yarn resourcemanager。如果你已经创建了一个非 root 用户，可以通过以下命令来切换到该用户： ``` su <username> ``` 然后，你可以使用以下命令来启动 yarn resourcemanager： ``` yarn resourcemanager ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值