YARN基本原理和YARN工作流程

最新推荐文章于 2025-06-04 19:33:17 发布
最新推荐文章于 2025-06-04 19:33:17 发布
阅读量1.3k 收藏 8
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： YARN YARN调度器 YARN Scheduler YARN 配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_37666500/article/details/87832272
本文详细介绍了YARN（Yet Another Resource Negotiator）的基本原理和工作流程，对比了MapReduce 1.0的旧架构问题，强调了YARN如何解决这些问题。在YARN中，ResourceManager负责资源管理，NodeManager监控节点资源，ApplicationMaster管理应用程序，而Container是资源分配的基本单位。此外，文章还探讨了YARN的调度器，包括FIFO、Capacity和Fair调度器的原理，并提到了配置文件位置及YARN的故障恢复机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Mapreduce 1.0 旧的MapReduce架构

旧的MapReduce架构
、MapReduce架构

基本概念
  • JobTracker: 负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错）
  • TaskTracker: 加载或关闭任务，定时报告认为状态
旧的架构的问题
  1. JobTracker是MapReduce的集中处理点，存在单点故障
  2. JobTracker完成了太多的任务，造成了过多的资源消耗，当MapReduce job 非常多的时候，会造成很大的内存开销。这也是业界普遍总结出老Hadoop的MapReduce只能支持4000 节点主机的上限
  3. 在TaskTracker端，以map/reduce task的数目作为资源的表示过于简单，没有考虑到cpu/ 内存的占用情况，如果两个大内存消耗的task被调度到了一块，很容易出现OOM
  4. 在TaskTracker端，把资源强制划分为map task slot和reduce task slot, 如果当系统中只有map task或者只有reduce task的时候，会造成资源的浪费，也就集群资源利用的问题

Hadoop2.0 YARN 架构

在这里插入图片描述
在这里插入图片描述
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力

基本概念
ResourceManager
  • 负责整个集群的资源管理和分配，是一个全局的资源管理系统。
  • NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况（目前主要是 CPU 和
    内存的使用情况）。RM 只接受 NM 的资源回报信息，对于具体的资源处理则交给 NM 自己
    处理。
  • YARN Sche
最低0.47元/天 解锁文章

200万优质内容无限畅学
YARN原理及工作流程详解
qq_45725767的博客
10-29 9594
在集群部署方面，Yarn的各个组件是和Hadoop集群中的其他组件进行同一部署的 在YARN框架中执行一个MapReduce程序时，从提交到完成需要经历如下8个步骤。 ①用户编写客户端应用程序， 向YARN提交应用程序，提交的内容包括ApplicationMaster程序、启动AlipplicationMaster的命令、用户程序等。 ②YARN 中的ReourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后，RsourceManager里面的调度器会为应用程序分配一个容器。同时
hadoop中MapReduce和yarn的基本原理讲解
mocas_wang的博客
08-15 3072
目录 1 MapReduce 1.1 执行流程 1.2 工作原理 Map任务处理 Reduce任务处理 MR的Shuffle过程 1.3 运行流程分析 2 yarn 2.1简介 2.2 组成 1. ResourceManager 2. NodeManager 3.ApplicationMaster（AM） 4. Container 2.3 工作原理 1 MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和.
YARN框架和其工作原理流程介绍
热门推荐
qq_25409421的博客
08-14 2万+
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
yarn工作原理及流程详解
weixin_42489619的博客
06-04 84
负责容器生命周期的管理，监控每个容器资源（CPU、内存）使用情况，跟踪节点健康状况，并以“心跳”方式与RM保持通信，向RM汇报作业的资源使用情况，和每个容器的运行状态，同时，他还要接受来自ApplicationMaster的启动/停止的各种请求，调度器接受ApplicationMaster测应用程序资源请求，并根据容量、队列等限制条件，把集群中的资源以“容器”的形式分配给提出申请的应用程序，容器的选择通常会考虑应用程序所要处理的数据的位置，进行就近选择。接下来的步骤4~7是具体的应用程序执行步骤。
YARN原理及其工作流程
似水流年
09-29 6238
一 YARN组成元素及其功能      RM:YARN的管理者      NM:YARN的执行者 二 YARN工作原理      首先数据上传到集群中.然后将写好的程序打成架包通过命令提交MR作业.提交到集群后由集群管理者MR开始调度分配资源.到HDFS读取数据执行MapReduce相关进程对数据进行计算 三 具体流程      第一步: Cli
yarn工作流程详解
wyq1357的博客
11-27 1486
yarn工作流程详解
YARN框架原理及运行机制
02-24
YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，...
Yarn---工作机制
shall潇の菜园
03-23 250
Yarn执行过程 看不懂？不要紧，来看下面的例子
yarn工作流程
qq_42506914的博客
01-10 457
ResourceManager RM NodeManager NM ApplicationMaster AM 1、Mr程序提交到客户机所在的节点，会根据配置来决定是本地运行还是yran运行。 2、yarn运行的话，它会向RM发起请求，RM返回Job的工作目录和id 3、客户机把Job运行所需的资源提交上去，job.split  job.xml jar包 4、资源提交完毕后，客户机向RM...
yarn的工作流程
weixin_42604344的博客
08-01 2543
步骤1　用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 步骤2　ResourceManager为该应用程序分配第一个Container（这里可以理解为一种资源比如内存），并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。 步骤3　Ap...
深入分析hadoop之YARN原理、架构、作业流程及调度器
静待花开
03-19 1694
一、YARN的原理 1.1、yarn是什么？ 首先看一下官方对于这个词汇的解释：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在Hadoop2引入，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 划重点，这里...
Hadoop系列 : Yarn原理解析-工作流程
qq_40651717的博客
12-28 328
Yarn 概述 Yarn是一个资源调度平台 , 负责为运算进程提供服务器运算资源 Yarn上可以运行MapReduce、Storm、tez、Spark、Flink等分布式运算进程 Yarn的运行流程 client向yarn提交job , 首先找到ResourceManager分配资源 ResourceManager开启一个Container , 在Container中运行一个Appl...
YARN工作流程详解
qq_654603797
11-14 7304
YARN基本组成： YARN的基本结构由一个ResourceManager与多个NodeManager组成。 ResourceManager负责对NodeManager所持有的资源进行统一管理和调度。当在处理一个作业时ResourceManager会在NodeManager所在节点创建一全权负责单个作业运行和监控的程序ApplicationMaster。 ResouceManager（简称RM）： 资源管理器负责整个集群资源的调度，该组件由两部分构成：调度器（Scheduler）和Applica
yarn的工作流程图
chengdu1994的博客
11-10 1017
@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全...
YARN工作流程
soledede
06-18 248
运行在YARN上的应用程序主要分为两类： （1）短应用程序 （2）长应用程序 短应用程序是指一定时间内（可能是秒级、分钟级或小时级，尽管天级别或者更长时间的也存在，但非常少）可运行完成并正常退出的应用程序，比如MapReduce作业、Tez DAG作业等.   长应用程序是指不出意外，永不终止运行的应用程序，通常是一些服务，比如Storm Service（主要包括Nimbus和S...
四, Hadoop基础架构-YARN工作流程和调度器原理
菜菜的大数据开发の路
08-24 1290
四, Hadoop基础架构-YARN 一, Yarn-资源调度器 Yarn(Yet Another Resource Negotiator)是一个资源调度平台, 负责为运算程序提供服务器运算资源, 相当于一个分布式的操作系统平台, 而MapReduce等运算程序则相当于运行在这个操作系统上的应用程序. 1.1 Yarn 基础架构(RM, NM, AM, Contaioner) Yarn主要由 RM(resource manager), NM(node manager), AM(application
Hadoop YARN Federation 工作原理和机制详解
最新发布
07-23
<think>嗯，用户想了解Hadoop YARN Federation的架构和工作机制。这个问题需要深入解释分布式系统的设计思想。用户可能是个大数据工程师或者学生，正在研究YARN的扩展方案。 从技术角度看，YARN Federation的核心是解决单点瓶颈问题。我记得Hadoop在早期版本中，ResourceManager是单点运行的，当集群规模扩大到上万节点时，这会导致性能问题。Federation通过引入多个ResourceManager实例来分担负载，这个设计思路和HDFS Federation很像。 需要重点解释几个关键组件：Router、StateStore和PolicyManager。Router相当于客户端请求的入口点，它根据策略将请求转发给不同的RM；StateStore负责维护集群状态的一致性；PolicyManager则决定了路由逻辑。这三者协同工作才能实现透明的联邦机制。 用户可能还会关心实际部署问题。比如Router的高可用配置、StateStore的选型（Zookeeper还是其他方案）、跨机房部署时的延迟问题等。不过用户当前的问题集中在工作机制上，这些实操细节可以放在后续问题里。 考虑到用户要求详细解释，准备从架构图开始说明，然后分步骤描述请求处理流程。特别要强调"无单点故障"和"线性扩展"这两个核心优势，这对大规模集群非常重要。 用户提供的引用材料里提到Federation不能解决MapReduce性能问题，这个观点是对的。在回答里需要明确区分YARN资源管理和计算框架性能的关系，避免产生误导。 最后要注意技术术语的中文翻译准确性，比如"Sub-Cluster"译为"子集群"比"分集群"更准确，"State Store"译为"状态存储"而非"状态仓库"。</think>以下是Hadoop YARN Federation的架构与工作机制详解： ### **1. 核心目标** 解决单一ResourceManager（RM）的扩展性瓶颈： - **单点故障风险**：传统架构中RM是单点故障源 - **资源限制**：单个RM难以管理超大规模集群（>10K节点） - **性能瓶颈**：高并发场景下调度吞吐量受限 ### **2. 架构组件** ```mermaid graph LR Client-->Router Router-->|路由策略| RM1[RM Sub-Cluster1] Router-->|路由策略| RM2[RM Sub-Cluster2] RM1-->|状态同步| StateStore[(全局状态存储)] RM2-->|状态同步| StateStore ``` #### **关键组件说明** | **组件** | **功能** | |--------------------|--------------------------------------------------------------------------| | **Router** | 客户端请求入口点，实现请求的透明路由（无感知转发） | | **Sub-Cluster** | 独立RM实例+NodeManager组，每个子集群管理专属物理资源 | | **StateStore** | 全局状态存储（通常用ZooKeeper），维护集群拓扑和策略 | | **PolicyManager** | 决策路由策略（如基于队列/用户/负载） | ### **3. 工作流程** #### **(1) 客户端提交作业** ```python # 客户端代码示例（无感知调用） app = yarn_client.submit_app( app_name="federation_demo", resource_request={"memory": "4GB", "vcores": 2} # 资源请求格式不变 ) ``` #### **(2) Router路由决策** 根据策略选择目标子集群： - **策略类型**： - 哈希路由（HashRouterPolicy）：$hash(user) \mod N$ - 负载均衡（LoadBasedRouterPolicy）：$min(rm_i.load), i\in[1,N]$ - 队列映射（QueueBasedPolicy）：$queue \rightarrow rm_id$ #### **(3) 子集群处理** ```mermaid sequenceDiagram RM->>NM: 分配容器 NM->>RM: 心跳报告 RM->>StateStore: 同步状态(作业进度/资源变更) ``` #### **(4) 全局状态同步** - **StateStore维护**： - 子集群活跃状态 - 路由策略版本 - 跨集群队列配额 - 容错机制：若子集群故障，Router自动屏蔽故障节点 ### **4. 关键技术机制** #### **资源隔离与共享** - **物理隔离**：每个NM固定归属一个子集群 - **逻辑统一**：通过Router提供全局资源视图 - **跨集群调度**：需通过`FederationInterceptor`组件实现（实验性特性） #### **容错设计** - **Router HA**：多Router实例+负载均衡器 - **状态存储冗余**：StateStore采用ZooKeeper集群 - **子集群自治**：单个子集群故障不影响其他集群 ### **5. 性能优化效果** $$ T_{max} = \sum_{i=1}^{N} T_{rm_i} \quad (N=\text{子集群数}) $$ - 调度吞吐量线性扩展（实测可达**10倍**提升）[^1] - 支持**百万级**容器并发管理 - 降低单RM GC压力（各子集群独立GC） ### **6. 典型部署场景** ```bash # 配置文件示例（yarn-site.xml） <property> <name>yarn.federation.router.policy</name> <value>org.apache.hadoop.yarn.server.router.HashBasedRouterPolicy</value> </property> <property> <name>yarn.federation.state-store.zk.address</name> <value>zk1:2181,zk2:2181</value> # ZooKeeper集群地址 </property> ``` > **注意**：Federation虽提升扩展性，但增加了运维复杂度，需权衡集群规模与运维成本[^1]。对于中小集群（<5K节点），建议优先优化RM配置而非引入联邦。 --- **
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值