3、Yarn整体概述

最新推荐文章于 2024-03-15 17:30:39 发布

江城子v3

最新推荐文章于 2024-03-15 17:30:39 发布

阅读量379

点赞数

分类专栏： Hadoop原理解析

本文链接：https://blog.youkuaiyun.com/jiang7chengzi/article/details/109012833

版权

Hadoop原理解析专栏收录该内容

4 篇文章

订阅专栏

本文介绍了YARN的整体架构，包括ResourceManager、ApplicationMaster、NodeManager和Container四个核心组件。ResourceManager全局管理资源，ApplicationMaster负责任务调度，NodeManager管理节点资源，Container作为资源抽象。文章还详细阐述了应用程序在YARN中的执行流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 整体架构

2 核心组件

2.1 ResourceManager

2.2 ApplicationMaster

2.3 NodeManager

2.4 Container

3 应用运行原理

1 整体架构

YARN的架构属于经典的主从（master/slave）结构，如下图所示。大体上看，YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成，ResourceManager为主节点（master），NodeManager为从节点（slave）。

在这里插入图片描述

ResourceManager跟踪集群上可用的活动节点和资源数量，并协调用户提交的应用程序应获取这些资源，可以以共享、安全和多租户的方式进行分配/调度（例如，根据应用程序优先级，队列容量，ACL，数据位置等）。

当用户提交应用程序时，将启动名为ApplicationMaster的轻量级进程实例，以协调应用程序中所有任务的执行，包括监视任务、重新启动失败的任务等。ApplicationMaster和属于其应用程序的任务在NodeManagers控制的资源容器中运行。

ApplicationMaster可以在容器内运行任何类型的任务。例如，MapReduce ApplicationMaster请求容器启动map或reduce任务，而Giraph ApplicationMaster请求容器运行Giraph任务。还可以实现运行特定任务（如Flink、Spark等）的自定义ApplicationMaster，并以此方式创建一个新的分布式应用程序框架，可以使用 Apache Twill，它能够简化编写位于 YARN 之上的分布式应用程序。

一个可以运行任何分布式应用程序的集群 ResourceManager，NodeManager和容器不关心应用程序或任务的类型。所有特定于应用程序框架的代码都被简单地移动到其ApplicationMaster，以便YARN可以支持任何分布式框架，只要有人为它实现适当的ApplicationMaster。由于这种通用方法，运行许多不同工作负载的Hadoop YARN集群的梦想成真。想象一下：数据中心内的单个Hadoop集群可以运行MapReduce，Giraph，Storm，Spark，Flink，Tez / Impala，MPI等。

2 核心组件

2.1 ResourceManager

ResourceManager 是一个全局的资源管理器，负责整个系统的资源管理和分配，包括处理客户端请求、启动/监控ApplicationMaster、监控 NodeManager、资源的分配与调度。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

调度器

调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。

调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（ResourceContainer，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。

应用程序管理器

应用程序管理器主要负责管理整个系统中所有应用程序，接收job的提交请求，为应用分配第一个 Container 来运行 ApplicationMaster，包括应用程序提交、与调度器协商资源以启动 ApplicationMaster、监控ApplicationMaster 运行状态并在失败时重新启动它等。

2.2 ApplicationMaster

ResourceManager 接收用户提交的作业，按照作业的上下文信息以及从 NodeManager 收集来的容器状态信息，启动调度过程，为用户作业启动一个ApplicationMaster。ApplicationMaster的主要功能是：

（1）当用户作业提交时，ApplicationMaster与ResourceManager协商获取资源，ResourceManager会以容器的形式为ApplicationMaster分配资源；

（2）把获得的资源进一步分配给内部的各个任务（Map任务或Reduce任务），实现资源的“二次分配”；

（3）与NodeManager保持交互通信进行应用程序的启动、运行、监控和停止，监控申请到的资源的使用情况，对所有任务的执行进度和状态进行监控，并在任务发生失败时执行失败恢复（即重新申请资源重启任务）；

（4）定时向ResourceManager发送“心跳”消息，报告资源的使用情况和应用的进度信息；

（5）当作业完成时，ApplicationMaster向ResourceManager注销容器，执行周期完成。

Yarn 的动态性，就是来源于多个Application 的ApplicationMaster 动态地和 ResourceManager 进行沟通，不断地申请、释放、再申请、再释放资源的过程。

2.3 NodeManager

NodeManager是驻留在一个YARN集群中的每个节点上的代理，主要负责：

容器生命周期管理。
监控每个容器的资源（CPU、内存等）使用情况。
跟踪节点健康状况。
以“心跳”的方式与ResourceManager保持通信。
向ResourceManager汇报作业的资源使用情况和每个容器的运行状态。
接收来自ApplicationMaster的启动/停止容器的各种请求。

需要说明的是，NodeManager主要负责管理抽象的容器，只处理与容器相关的事情，而不具体负责每个任务（Map任务或Reduce任务）自身状态的管理，因为这些管理工作是由ApplicationMaster完成的，ApplicationMaster会通过不断与NodeManager通信来掌握各个任务的执行状态。

2.4 Container

Container 是 YARN 中的资源抽象，它封装了某个节点上的多维度资源。当 ApplicationManager 向 ResourceManager 申请资源时，ResourceManager 为 ApplicationManager 返回的资源便是用 Container 表示的。YARN 会为每个任务分配一个 Container，且该任务只能使用 Container 中的资源。其是一个动态资源划分单位，是根据应用程序的需求动态生成的。

容器功能介绍

如上所示，Yarn将CPU核数、内存这些计算资源都封装成为一个个的容器（Container）。需要注意两点：

容器由NodeManager启动和管理，并被它所监控。
容器被ResourceManager进行调度。

需要注意的是，Container 是一个动态资源划分单位，是根据应用程序的需求动态生成的。目前为止，YARN 仅支持 CPU 和内存两种资源，且使用了轻量级资源隔离机制 Cgroups 进行资源隔离。

3 应用运行原理

在这里插入图片描述

Application在Yarn中的执行过程可以总结为三步：应用程序提交、启动应用的ApplicationMaster实例、ApplicationMaster 实例管理应用程序的执行。具体过程：

客户端程序向 ResourceManager 提交应用并请求一个 ApplicationMaster 实例；
ResourceManager 找到一个可以运行一个 Container 的 NodeManager，并在这个 Container 中启动ApplicationMaster 实例；
ApplicationMaster 向 ResourceManager 进行注册，注册之后客户端就可以查询 ResourceManager 获得自己 ApplicationMaster 的详细信息，以后就可以和自己的 ApplicationMaster 直接交互了（这个时候，客户端主动和 ApplicationMaster 交流，应用先向 ApplicationMaster 发送一个满足自己需求的资源请求）；
在平常的操作过程中，ApplicationMaster 根据 resource-request协议向 ResourceManager 发送 resource-request请求；
当 Container 被成功分配后，ApplicationMaster 通过向 NodeManager 发送 container-launch-specification信息来启动Container，container-launch-specification信息包含了能够让Container 和ApplicationMaster 交流所需要的资料；
应用程序的代码以 task 形式在启动的 Container 中运行，并把运行的进度、状态等信息通过 application-specific协议发送给ApplicationMaster；
在应用程序运行期间，提交应用的客户端主动和 ApplicationMaster 交流获得应用的运行状态、进度更新等信息，交流协议也是 application-specific协议；
一旦应用程序执行完成并且所有相关工作也已经完成，ApplicationMaster 向 ResourceManager 取消注册然后关闭，用到所有的 Container 也归还给系统。

参考文章

https://www.cnblogs.com/listenfwind/p/10391854.html