YARN的架构组件功能

最新推荐文章于 2025-07-16 17:31:27 发布
原创 最新推荐文章于 2025-07-16 17:31:27 发布 · 1.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

hadoop1.0和hadoop2.0的最大区别就在于hadoop2.0多出了一个yarn,hadoop1.0中Mapreduce即承担集群资源的管理和调  度，又承担数据的处理，而hadoop2.0中将这两个任务分离开，yarn来对集群的资源进行管理和调度，Mapreduce来进行数据的处理，并且Mapreduce是运行在yarn上边的，yarn上不仅能运行Mapreduce这种并行计算框架，还能运行其他的，比如流式计算框架storm,内存计算框架spark,所以yarn被称为hadoop的操作系统

yarn服务组件:

    * yarn总体上仍然是Master/slave(主从)结构，在整个资源管理框架中，Re'sourceManager为Master,NodeManager为               Slave

    *ResourceManager负责对各个NodeManager上的资源进行统一管理和调度

    *当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的

    *ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManager启动可以占用一定资源的任务

    *由于不同的ApplicationMaster被分布到不同的节点上，因此他们之间不会相互影响

ResourceManager:

     *全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配

     *功能:

              处理客户端请求

              启动/监控Application Master

              监控NodeManager

              资源分配与调度

NodeManager:

      *整个集群有多个，负责单节点资源管理和使用

      *功能:

              单个节点上的资源管理和任务管理

              处理来自ResourceManager的命令

              处理来自Application Master的命令

      *NodeManager管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源

      *定时的向RM汇报本节点上的资源使用情况和各个Container的运行状态

Application Master:

       *管理一个在yarn内运行的应用程序的每个实例

       *功能:

             为应用程序申请资源，并进一步分配给内部任务

             任务监控与容错

       *负责协调来自ResourceManager的资源，并通过NodeManager监视容器的执行和资源使用(cpu 内存等的资源分配)

Container:

       *yarn中的资源抽象，封装某个节点上的多维度资源，如内存,cpu,磁盘,网络等，当AM向RM申请资源时，RM向AM返回的           资源便是用Container表示的

       *yarn会为每个任务分配一个Container,且该任务只能使用该Container中描述的资源

       *功能:

             对任务运行环境的抽象

             描述一系列信息

            任务运行资源(节点，内存，cpu)

            任务启动命令

            任务运行环境

 

 

 

 

YARN核心组件功能特性分析
Xlucas的博客
07-15 869
YARN组件介绍说明
yarn的组成结构及各个组件功能
weixin_40035337的博客
08-24 8927
yarn 主要由ResourceManager、NodeManager、ApplicationMaster、Container、Scheduler等几个组件构成。 ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。 它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM），通俗讲是用于管理NodeManager节点的资源，包括cup、内存等。 Sc...
499 是什么端口(nginx的状态码)
最新发布
keyboard专栏
07-16 444
是 Nginx 自定义的状态码（不是标准 HTTP 状态码），其含义是：它不是来自服务器返回的响应，而是 Nginx 在记录日志时发现连接已断开，自己写入日志。 示例： 说明请求 被客户端关闭了。你可以在 Nginx 日志中单独分析： 也可以在日志系统（如 ELK / Grafana Loki）中添加状态码统计看趋势。
yarn各个组件的作用
祁东握力的博客
09-24 2128
一、ResourceManager 1、接收和处理客户端(RunJar)的请求 2、管理NodeManager 3、启动和管理ApplicationMaster 4、分配和调度资源 二、NodeManager 1、管理单节点的资源 2、处理来自RM的命令 3、处理来自AM的命令 三、ApplicationMaster 1、数据的切分划分。 2、程序资源的申请以及内...
Yarn（三）Yarn三大组件介绍
Running_Tiger的博客
02-09 5753
Yarn（三）Yarn三大组件介绍Yarn三大组件介绍1. ResourceManager ResourceManager 负责整个集群的资源管理和分配，是一个全局的资源管理系统。 NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况（目前主要是 CPU 和内存的使用情况）。RM 只接受 NM 的资源回报信息，对于具体的资源处理则交给 NM 自己处理。 YARN
Yarn有哪些功能
weixin_44337480的博客
07-05 1057
Yarn 作为一个 JavaScript 包管理工具，提供了一系列强大的功能，旨在优化依赖管理、提升安装速度和增强项目的可维护性。
YARN 架构组件及原理
金州饿霸吃不饱的博客
01-09 631
YARN（Yet Another Resource Negotiator，另一种资源协调者） 是 Hadoop 2.0 中的资源管理系统，它的基本设计思想是。其中 ResourceManager 负责整个系统的资源管理和分配，而 ApplicationMaster负责单个应用程序的管理。一个全局的资源管理器 ResourceManager 和每个应用程序特有的ApplicationMaster。
yarn架构组件
weixin_44361667的博客
03-10 1430
YARN 总体上是 master/slave 结构，在整个资源管理框架中，ResourceManager 为 master，NodeManager 是 slave。 YARN的基本组成结构，YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等几个组件构成。 ResourceManager是Master上一个独立运行的进程，负责集群统一的资源管理、调度、分配等等； NodeManager是Slave上一个独立运行的进程，负责上
YARN基本架构及其组件功能
West_door的博客
03-24 4341
一、YARN基本集群架构 二、各个组件的功能 ResourceManager： 全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配。 功能： 处理客户端请求 启动/监控Application Master 监控NodeManager 资源分配与调度 NodeManager： 整个集群有多个，负责单节点资源管理和使用。 功能： 单个节点上的资源管理和任务管理（监视Containe...
yarn的三大组件及各自作用
2402_87144407的博客
04-18 988
管理集群所有节点的资源（CPU、内存），根据调度策略（如CapacityScheduler、FairScheduler）分配给不同应用。：根据RM和AM的指令，启动/停止Container（资源容器），运行具体任务（如MapTask、Spark Executor）。：与NM通信，在分配的Container中启动/监控任务（如MapReduce的MapTask或Spark的Executor）。：向RM申请资源（Container），并协商资源需求（如“需要10个Container运行Map任务”）。
YARN组件
zhuhaiqin的专栏
02-21 462
YARN组件 在生产环境中的大数据集群，所有作业或系统运行所需的资源，都不是直接向操作系统申请，而是交由资源管理器和调度框架代为申请。每个作业或系统所需的资源都是由资源管理和调度框架统一分配、协调。在业界中扮演这一角色的组件有YARN、Mesos等。 YARN的优点 （1）提高系统的资源利用率。 （2）协调不同作业/不同系统的资源，减少不同作业和不同系统之间的资源争抢。 （3）增强系统扩展性。资源管理和调度框架，允许硬件资源的动态伸缩，而不会影响作业的运行。 （4）资源调度与管理工具把控着资源的
Yarn的作用
qq_37314326的博客
07-25 160
​ 1）速度超快----Yarn缓存了每个下载过的包，所以再次使用时无需重复下载。同时利用并行下载以最大化资源利用率，因此安装快。​ 3）超级可靠-----使用详细、简洁的锁文件格式和明确的安装算法，Yarn能够保证在不同系统上无差异工作。​ 2）超级安全----在执行代码之前，Yarn会通过算法检验每个安装包的完整性。​ Yarn是facebook发布的一款取代npm的包管理工具；2、Yarn配置淘宝源，分别复制黏贴以下代码运行即可；1、下载nodejs,使用npm安装。
YARN组件（三）
weixin_44616592的博客
03-10 1701
文章目录YARN组件ResourcemanagerNodemanagerContainerMRAppMasterYARN的执行流程（Job的提交流程）YARN的资源调度器Spark提交任务到Yarn命令yarn-cluster模式总结 YARN组件 YARN的基本组成结构，YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成 Resourcemanager RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理
Yarn功能简介
Hongyu_Liu的博客
04-25 4380
我对yarn的理解 Yarn是一种新的hadoop资源调度器。yarn的基本思想是将JobTracker的两个功能（资源管理和作业调度/监控）分离开来，主要的方法是创建一个全局的RM和若干个针对应用程序的AM。（应用程序指的是MR作业或者是作业的DAG） Yarn的主要构件有：ResourceManager（RM），ApplicationMaster（AM），NodeManger（NM...
yarn的作用以及执行流程
热门推荐
xiaoruoxian的博客
04-17 1万+
一.什么是yarn YARN 是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、 NodeManager（NM）、ApplicationMaster（AM）。 ResourceManager 负责所有资源的监控、分配和管理； ApplicationMaster 负责每一个具体应用程序的调度和协调； NodeManager 负责每一个节点的维护。 对于所有的 ...
Yarn介绍
zhijingzhi的博客
04-01 2660
ApplicationMaster 负责协调来自 ResourceManager 的资源，并通过 NodeManager 监视容器的执行和资源使用（CPU、内存等的资源分配），通俗讲是管理发起的任务，随着任务创建而创建，任务的完成而结束。Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。在资源紧张的情况下，可以kill掉优先级低的，来运行优先级高的任务。
YARN--图解YARN的功能及架构
qq_46893497的博客
12-04 3411
1、YARN的功能 HDFS：实现分布式的数据存储 MR：实现分布式编程模型，基于MapReduce规则开发一个分布式的程序 YARN：实现分布式资源管理和 任务调度 资源管理：将多台机器的资源进行整合，构建成一个整体 整个集群中所有资源的分配 运行这个程序分配多少资源给它运行 任务调度：提交运行一个分布式程序，利用分布式的资源来实现运行 如果提交了多个程序 谁先执行，谁后执行 本质：分布式计算运行平台 提供了分布式资源来实现分布式程序的运行 2、YARN的架构 分布式主从架构 主
YARN的设计思想和功能组件简介
s646575997的博客
07-01 2447
Yarn的设计思想A． Yarn（Yet Another Resource Negotiator） B． Yarn的基本思想： 将JobTracker啷个主要功能分离成单独的组件，一个全局的ResourceManager和每个应用对应的ApplicationMaster hadoop1.X和hadoop2.X框架对比图： hadoop2.X框架图： Yarn的组件：A． Resour
Yarn的核心组件与功能
06-05
<think>嗯，用户之前询问了Hive的存储、计算组件和工作核心，现在转向了YARN的核心组件及功能。用户给出了详细的引用资料（1-5），需要我据此整理YARN的核心架构。注意到用户强调引用标注（类似[^1]格式），且要求中文回答。之前的对话显示用户具备Hadoop生态基础，可能是开发或运维人员，需要体系化的组件解析。YARN三大核心组件已明确引用出处：-ResourceManager（RM）的全局调度职能来自引用[2][^2]和引用[4][^4]的调度策略说明-NodeManager（NM）的本节点管理引用引用[2][^2]和引用[5][^5]的资源量化描述-ApplicationMaster（AM）的任务协调特性在引用[3][^3]中明确为"每个应用独有进程"特别需要注意Container的抽象概念引用[5][^5]量化说明（内存/CPU），以及引用[4][^4]的三种调度器差异。用户可能实际需要了解调度选择（如生产环境多用CapacityScheduler）。最终回答需保持技术准确性：比如强调RM不参与具体计算（纯调度器），AM与具体计算框架绑定，NM通过心跳机制汇报。相关问题的设计应延伸YARN运维（HA配置）和优化方向（如资源超卖），这些在原始引用里都有线索可循。</think> 以下基于YARN架构整理的核心组件及功能介绍（引用已标注）： ### 一、核心组件架构 ```mermaid graph TD A[YARN] --> B[ResourceManager] A --> C[NodeManager] A --> D[ApplicationMaster] A --> E[Container] ``` ### 二、组件功能详解 1. **ResourceManager（RM）** - **角色**：全局资源调度器（主节点）[^2] - **核心职能**： - 统一管理集群资源（CPU/内存） - 接收应用提交请求，分配初始资源 - 实现资源调度策略（FIFO/Capacity/Fair）[^4] - 监控NodeManager状态 2. **NodeManager（NM）** - **角色**：节点资源代理（从节点）[^2] - **核心职能**： - 管理单节点物理资源（CPU/内存/磁盘） - 执行容器启停操作（`Container`生命周期管理） - 向RM定时发送心跳（节点健康状况/资源使用量）[^5] 3. **ApplicationMaster（AM）** - **角色**：应用级协调者（按应用创建）[^3] - **核心职能**： - 向RM动态申请/释放资源（`Container`资源单元） - 协调分布式任务执行流程（MapReduce/Spark等） - 处理任务故障恢复（容错机制） 4. **Container** - **角色**：资源抽象单元[^5] - **核心特性**： - 资源封装：$$ \text{Container} = \{ \text{CPU核心数}, \text{内存(MB)}, \text{虚拟化环境} \} $$ - 动态分配：按需创建，任务结束自动回收 - 安全隔离：通过Linux Cgroups实现资源隔离 ### 三、工作流程示例 ```mermaid sequenceDiagram participant Client participant RM participant NM participant AM Client->>RM: 提交应用 RM-->>AM: 分配首个Container启动AM AM->>RM: 申请任务Container资源 RM->>NM: 分配Container资源 NM->>AM: 返回Container执行权 AM->>NM: 下发计算任务 NM->>AM: 汇报任务状态 AM->>RM: 应用完成，释放资源 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值