6、YARN资源管理器的进展

YARN资源管理器的进展

1. YARN架构概述

YARN采用集中式架构，由单个逻辑组件资源管理器（RM）为提交到集群的作业分配资源。RM处理的资源请求具有通用性，而每个应用程序所需的特定调度逻辑封装在应用程序主节点（AM）中，任何框架都可以实现AM，这使得YARN能够使用相同的RM组件支持广泛的应用程序。

YARN的主要组件如下：
- 节点管理器（NM） ：运行在集群的每个工作节点上，负责监控主机节点的资源可用性、报告故障以及管理容器的生命周期（如启动、监控、暂停和终止容器）。
- 资源管理器（RM） ：运行在专用机器上，在各种竞争应用程序之间仲裁资源。为实现高可用性，可以使用多个RM，其中一个为主RM。NM定期向RM报告其状态，RM - NM通信基于心跳机制以实现可扩展性。RM还维护所有应用程序的资源请求（应用程序状态）。调度器根据集群的全局视图、应用程序需求、资源可用性、调度优先级和共享策略（如公平性），在应用程序请求和机器之间进行匹配，并将称为容器的资源租约分配给应用程序。YARN包含公平调度器和容量调度器两种调度器实现。
- 应用程序主节点（AM） ：是作业的协调器，每个提交的作业实例化一个AM，负责管理作业的整个生命周期，包括动态增加和减少资源消耗、管理执行流程以及处理故障。AM可以运行用任何编程语言编写的任意用户代码。

作业通过YARN客户端协议提交给RM，并经过准入控制阶段，在此期间会验证安全凭证并执行各种操作和管理检查。AM通过心跳机制使用AM服务接口向RM发出资源请求，当调度器为AM分配资源时，RM会为该资源生成租约，