Hadoop Yarn工作原理

最新推荐文章于 2023-05-18 17:33:17 发布
原创 最新推荐文章于 2023-05-18 17:33:17 发布 · 941 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#yarn #hadoop #框架

YARN的基础功能有: 资源的管理, 作业的调度、监控等.
ResourceManager和NodeManager形成了Hadoop的数据计算框架.

ResourceManager: 负责系统资源在应用间的分配. ResourceManager有两个主要的组件: Scheduler和ApplicationsManager. Scheduler只纯碎地负责给运行的应用分配资源, 不会执行失败任务的重启. Scheduler是根据应用的需求来执行调度的, 基于一个抽象的资源容器(resource Container), 这个容器包含的元素有: 内存, CPU, disk, network等.

The Scheduler has a pluggable policy which is responsible for partitioning the cluster resources among the various queues, applications etc. The current schedulers such as the CapacityScheduler and the FairScheduler would be some examples of plug-ins.

ApplicationsManager 主要负责接受作业的提交; 为要执行的应用(提交的作业应用)指定一个特定的容器(ApplicationMaster); 任务执行失败时负责重启ApplicationMaster container.

ApplicationMaster: 每一个客户应用(自己的应用程序)都会对应一个ApplicationMaster. 负责从ResourceManager获取资源, 并负责和NodeManager一起去完成任务的执行, 任务进度的监控和任务状态的跟踪.

NodeManager: 每个机器节点都会有一个NodeManager进程, 来负责收集监控各个节点的cpu, 内存, 磁盘, 网络等资源的使用情况, 并会把这些信息上报给ResourceManager/Scheduler.

这里写图片描述

weidenglu11
关注
深入解析Apache Hadoop YARN：工作原理与核心组件
KKwan的博客
04-18 5534
YARN（Yet Another Resource Negotiator）是Apache Hadoop生态系统中的一个重要组件，用于资源管理和作业调度。它是Hadoop 2.x版本中的一个关键特性，取代了旧版本中的JobTracker和TaskTracker。YARN的设计目标是使Hadoop能够处理更广泛的工作负载，包括批处理、交互式查询、流处理以及其他类型的工作负载。
深入分析hadoop之YARN原理、架构、作业流程及调度器
静待花开
03-19 2247
一、YARN的原理 1.1、yarn是什么？ 首先看一下官方对于这个词汇的解释：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在Hadoop2引入，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 划重点，这里...
Hadoop框架---Yarn工作机制、调度器与调度算法
丷江南南的博客
05-18 437
•公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的。为了防止同一个用户的作业独占队列中的资源，该调度器会对。：每个队列可配置一定的资源量，等运算程序则相当于运行于。1）与容量调度器相同点。，则其他队列借调的资源。2）与容量调度器不同点。，生产环境很少使用；
Hadoop Yarn 框架原理及运作机制
热门推荐
hello
01-30 5万+
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。
hadoop中yarn的原理及运行
wangchunbo_1989的专栏
11-27 724
一：对yarn的理解 1.关于yarn的组成 　　大约分成主要的四个。 　　Resourcemanager，Nodemanager，Applicationmaster，container   2.Resourcemanager（RM）的理解 　　RM是全局资源管理器，负责整个系统的资源管理和分配。 　　主要由两个组件组成：调度器和应用程序管理器（ASM） 　　调度器：根据容量，队列...
hadoop中MapReduce和yarn的基本原理讲解
mocas_wang的博客
08-15 3182
目录 1 MapReduce 1.1 执行流程 1.2 工作原理 Map任务处理 Reduce任务处理 MR的Shuffle过程 1.3 运行流程分析 2 yarn 2.1简介 2.2 组成 1. ResourceManager 2. NodeManager 3.ApplicationMaster（AM） 4. Container 2.3 工作原理 1 MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和.
Hadoop YARN ResourceManager 未授权访问
OOOOOK的博客
07-03 1810
Hadoop YARN ResourceManager 未授权访问漏洞原理及复现
hadoop权威指南（第四章）--yarn运行机制及调度过程知识
认真学代码的shell
03-25 1419
1.yarn运行机制？ 下面对上面出现的一些名词进行介绍： ResourceManager：是YARN资源控制框架的中心模块，负责集群中所有的资源的统一管理和分配。它接收来自NM(NodeManager)的汇报， 建立AM，并将资源派送给AM(ApplicationMaster)。 NodeManager:简称NM，NodeManager是ResourceManager在每台机器的上代理，负责容...
hadoop和yarn原理笔记.docx
07-17
在大数据领域，Hadoop是一个广泛使用...总的来说，理解Hadoop和YARN的工作原理对于大数据环境下的系统优化和调优至关重要。通过合理的配置和选择合适的计算框架，可以有效地处理和分析海量数据，发挥大数据的真正价值。
大数据学习之路~Hadoop~yarn工作原理与架构
tby6686的专栏
12-02 636
一.Yarn的工作原理 YARN的作业运行，主要由以下几个步骤组成： （1）作业提交 第0步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第1步：Client向RM申请一个作业id。 第2步：RM给Client返回该job资源的提交路径和作业id。如果申请成功就会生成一个applicationId,ResourceManager是允许HDFS的temp 目录下面生成一个路径,这个路径名字是以你当前任务的applicationId命名.
YARN基本框架介绍
zdy0_2004的专栏
05-21 962
http://www.cnblogs.com/BYRans/p/5513991.html 转载请注明出处：http://www.cnblogs.com/BYRans/ 在之前的博客《YARN与MRv1的对比》中介绍了YARN对Hadoop 1.0的完善。本文将重点介绍下YARN各个模块的作用与YARN运行流程。 YARN模块介绍 概述 YARN是一个资
一图看懂hadoop Yarn工作原理
a18192420455的博客
11-08 263
Hadoop 资源调度框架Yarn运行流程 转载于:https://www.cnblogs.com/AlexQY/p/9929327.html
Hadoop YARN 的工作流程简述
weixin_33796205的博客
12-18 283
1、Client 向 YARN 提交应用程序，其中包括 ApplicationMaster 程序及启动 ApplicationMaster 命令2、ResourceManager 为该 ApplicationMaster 分配第一个 Container，并与对应的 NodeManager 通信，要求它在这个 Container 中启动应用程序的 Applicati...
Hadoop基础---YARN 基本原理
石头
04-28 581
YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG。 ResourceManager和NodeManager构成了数据计算框架。 ResourceManager是在系统中的所有应用程序之间仲裁资源的最终权限。 N...
Hadoop Yarn工作机制
雾幻的博客
04-12 416
在yarn上写应用程序并不同于我们熟知的MapReduce应用程序，必须牢记yarn只是一个资源管理的框架，并不是一个计算框架，计算框架可以运行在yarn上。 我们所能做的就是向RM申请container,然后配合NM一起来启动container。就像MRv2一样，jobclient请求用于MR AM运行的container，设置环境变量和启动命令，然后交由NM去启动MR AM，随后map/re...
Hadoop之Yarn的基本原理
qq_34993631的博客
11-19 497
Yarn的基本架构与运行 概述 Yarn（Yet Another Resource Negotiator）资源协调者，它是Hadoop生态圈中的三大组件之一，主要负责资源的调度。它与其他的两个组件相互独立也就是Yarn可以运行在其他的文件系统之上，其他的计算框架也可以运行在Yarn上面。下图为它在生态圈中的地位。 Yarn的架构 Yarn主要是由ResourceManager，Node...
【Hadoop系列】（三）YARN的介绍及原理
林立可
06-26 985
YARN 1，YARN 概念 YARN（Yet Another Resource Negotiator）是自 Hadoop2.0 之后引入的一个新组件，统一负责集群的资源调度和管理，为 MapReduce 程序分配运算资源。 2，YARN 组件 YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。 ResourceManager 作为资源管理的核心组件，通常单独部署在一个节点。负责为 client 提交的 j
hadoop系列之Yarn工作原理
算法小生
03-04 676
Hadoop作业调度器主要有三种：FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)Apache hadoop-2.7.2之后默认调度器是容量调度器Capacity SchedulerApache hadoop-3.2.2默认调度器是公平调度器Fair Scheduler。
Hadoop YARN Federation 工作原理和机制详解
最新发布
07-23
<think>嗯，用户想了解Hadoop YARN Federation的架构和工作机制。这个问题需要深入解释分布式系统的设计思想。用户可能是个大数据工程师或者学生，正在研究YARN的扩展方案。 从技术角度看，YARN Federation的核心是解决单点瓶颈问题。我记得Hadoop在早期版本中，ResourceManager是单点运行的，当集群规模扩大到上万节点时，这会导致性能问题。Federation通过引入多个ResourceManager实例来分担负载，这个设计思路和HDFS Federation很像。 需要重点解释几个关键组件：Router、StateStore和PolicyManager。Router相当于客户端请求的入口点，它根据策略将请求转发给不同的RM；StateStore负责维护集群状态的一致性；PolicyManager则决定了路由逻辑。这三者协同工作才能实现透明的联邦机制。 用户可能还会关心实际部署问题。比如Router的高可用配置、StateStore的选型（Zookeeper还是其他方案）、跨机房部署时的延迟问题等。不过用户当前的问题集中在工作机制上，这些实操细节可以放在后续问题里。 考虑到用户要求详细解释，准备从架构图开始说明，然后分步骤描述请求处理流程。特别要强调"无单点故障"和"线性扩展"这两个核心优势，这对大规模集群非常重要。 用户提供的引用材料里提到Federation不能解决MapReduce性能问题，这个观点是对的。在回答里需要明确区分YARN资源管理和计算框架性能的关系，避免产生误导。 最后要注意技术术语的中文翻译准确性，比如"Sub-Cluster"译为"子集群"比"分集群"更准确，"State Store"译为"状态存储"而非"状态仓库"。</think>以下是Hadoop YARN Federation的架构与工作机制详解： ### **1. 核心目标** 解决单一ResourceManager（RM）的扩展性瓶颈： - **单点故障风险**：传统架构中RM是单点故障源 - **资源限制**：单个RM难以管理超大规模集群（>10K节点） - **性能瓶颈**：高并发场景下调度吞吐量受限 ### **2. 架构组件** ```mermaid graph LR Client-->Router Router-->|路由策略| RM1[RM Sub-Cluster1] Router-->|路由策略| RM2[RM Sub-Cluster2] RM1-->|状态同步| StateStore[(全局状态存储)] RM2-->|状态同步| StateStore ``` #### **关键组件说明** | **组件** | **功能** | |--------------------|--------------------------------------------------------------------------| | **Router** | 客户端请求入口点，实现请求的透明路由（无感知转发） | | **Sub-Cluster** | 独立RM实例+NodeManager组，每个子集群管理专属物理资源 | | **StateStore** | 全局状态存储（通常用ZooKeeper），维护集群拓扑和策略 | | **PolicyManager** | 决策路由策略（如基于队列/用户/负载） | ### **3. 工作流程** #### **(1) 客户端提交作业** ```python # 客户端代码示例（无感知调用） app = yarn_client.submit_app( app_name="federation_demo", resource_request={"memory": "4GB", "vcores": 2} # 资源请求格式不变 ) ``` #### **(2) Router路由决策** 根据策略选择目标子集群： - **策略类型**： - 哈希路由（HashRouterPolicy）：$hash(user) \mod N$ - 负载均衡（LoadBasedRouterPolicy）：$min(rm_i.load), i\in[1,N]$ - 队列映射（QueueBasedPolicy）：$queue \rightarrow rm_id$ #### **(3) 子集群处理** ```mermaid sequenceDiagram RM->>NM: 分配容器 NM->>RM: 心跳报告 RM->>StateStore: 同步状态(作业进度/资源变更) ``` #### **(4) 全局状态同步** - **StateStore维护**： - 子集群活跃状态 - 路由策略版本 - 跨集群队列配额 - 容错机制：若子集群故障，Router自动屏蔽故障节点 ### **4. 关键技术机制** #### **资源隔离与共享** - **物理隔离**：每个NM固定归属一个子集群 - **逻辑统一**：通过Router提供全局资源视图 - **跨集群调度**：需通过`FederationInterceptor`组件实现（实验性特性） #### **容错设计** - **Router HA**：多Router实例+负载均衡器 - **状态存储冗余**：StateStore采用ZooKeeper集群 - **子集群自治**：单个子集群故障不影响其他集群 ### **5. 性能优化效果** $$ T_{max} = \sum_{i=1}^{N} T_{rm_i} \quad (N=\text{子集群数}) $$ - 调度吞吐量线性扩展（实测可达**10倍**提升）[^1] - 支持**百万级**容器并发管理 - 降低单RM GC压力（各子集群独立GC） ### **6. 典型部署场景** ```bash # 配置文件示例（yarn-site.xml） <property> <name>yarn.federation.router.policy</name> <value>org.apache.hadoop.yarn.server.router.HashBasedRouterPolicy</value> </property> <property> <name>yarn.federation.state-store.zk.address</name> <value>zk1:2181,zk2:2181</value> # ZooKeeper集群地址 </property> ``` > **注意**：Federation虽提升扩展性，但增加了运维复杂度，需权衡集群规模与运维成本[^1]。对于中小集群（<5K节点），建议优先优化RM配置而非引入联邦。 --- **
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值