YARN总结

最新推荐文章于 2021-09-15 20:29:36 发布

TUJC

最新推荐文章于 2021-09-15 20:29:36 发布

阅读量379

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据知识总结

本文链接：https://blog.youkuaiyun.com/TU_JCN/article/details/104471704

YARN资源调度系统

hadoop：hadoop-2.6.0-cdh5.14.2 CDH版本

1. YARN概述

Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入
YRAN具有足够的通用性，可以支持其它的分布式计算模式

2. YARN架构

类似HDFS，YARN也是经典的主从（master/slave）架构

主节点 ResourceManager：调度器Scheduler / Application Master应用程序的管理器，

从节点NodeManager

Client 向 ResourceManager 提交的每一个应用程序都必须有一个 ApplicationMaster，它经过 ResourceManager 分配资源后，运行于某一个 Slave 节点的 Container 中，具体做事情的 Task，同样也运行与某一个 Slave 节点的 Container 中。

1）Resource Manager：全局资源管理器
- 一个集群只有一个RM。
- 负责和AM(Application Master)交互，资源调度、资源分配等工
2）Node Manager：一台机器上的管理者，
- 类似于部门经理。
- 管理着本机上若干小弟Containers的生命周期、监视资源和跟踪节点健康并定时上报给RM；接收并处理来自AM的Container启动/停止等各种请求。
3）Application Master：应用程序的管理器，
- 类似项目经理，一个应用程序只有一个AM。
- 负责任务开始时找RM要资源，任务完成时向RM注销自己，释放资源；
- 与NM通信以启动/停止任务；接收NM同步的任务进度信息。
- ApplicationMaster可以在容器内运行任何类型的任务，不同的 ApplicationMaster 被分布到不同的节点上，因此它们之间不会相互影响。
4）Container：一台机器上具体提供运算资源，
- 将设备上的内存、CPU、磁盘、网络等资源封装在一起的抽象概念——“资源容器”，
- Container是一个动态资源分配单位，为了限定每个任务使用的资源量。

2.1 ResourceManager

RM是一个全局的资源管理器，集群只有一个
- 负责整个系统的资源管理和分配，处理客户端请求
- 启动/监控 ApplicationMaster
- 监控 NodeManager、资源的分配与调度
它主要由两个组件构成：
- 调度器（Scheduler）
- 应用程序管理器（Applications Manager，ASM）
调度器（Scheduler）
- 调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。
- 需要注意的是，该调度器是一个“纯调度器”
  - 它不从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。
  - 调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。
应用程序管理器（Applications Manager，AM）
- 应用程序管理器主要负责管理整个系统中所有应用程序
- 接收job的提交请求
- 为应用分配第一个 Container 来运行 ApplicationMaster，包括应用程序提交、与调度器协商资源以启动 ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动它等

2.2 NodeManager

NodeManager 是一个 slave 服务，整个集群有多个
NodeManager ：
- 接收 ResourceManager 的资源分配请求，分配具体的 Container 给应用。
- 监控并报告 Container 使用信息给 ResourceManager。
- NodeManager 只负责管理自身的 Container，它并不知道运行在它上面应用的信息。负责管理应用信息的组件是 ApplicationMaster

2.3 Container

Container 是 YARN 中的资源抽象
- 它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等
- 当 AM 向 RM 申请资源时，RM 为 AM 返回的资源便是用 Container 表示的。
- YARN 会为每个任务分配一个 Container，且该任务只能使用该 Container 中描述的资源。
Container 和集群NodeManager节点的关系是：
- 一个NodeManager节点可运行多个 Container
- 但一个 Container 不会跨节点。
- 任何一个 job 或 application 必须运行在一个或多个 Container 中
- 在 Yarn 框架中，ResourceManager 只负责告诉 ApplicationMaster 哪些 Containers 可以用
- ApplicationMaster 还需要去找 NodeManager 请求分配具体的 Container。
需要注意的是
- Container 是一个动态资源划分单位，是根据应用程序的需求动态生成的
- 目前为止，YARN 仅支持 CPU 和内存两种资源，且使用了轻量级资源隔离机制 Cgroups 进行资源隔离。
功能：
- 对task环境的抽象；
- 描述一系列信息；
- 任务运行资源的集合（cpu、内存、io等）；
- 任务运行环境

2.4 ApplicationMaster

功能：
- 数据切分；
- 为应用程序申请资源并进一步分配给内部任务（TASK）；
- 任务监控与容错；
- 负责协调来自ResourceManager的资源，并通过NodeManager监视容器的执行和资源使用情况。
ApplicationMaster 与 ResourceManager 之间的通信
- 是整个 Yarn 应用从提交到运行的最核心部分，是 Yarn 对整个集群进行动态资源管理的根本步骤
- Yarn 的动态性，就是来源于多个Application 的 ApplicationMaster 动态地和 ResourceManager 进行沟通，不断地申请、释放、再申请、再释放资源的过程。

2.5 Resource Request

引用连接

Yarn的设计目标
- 允许我们的各种应用以共享、安全、多租户的形式使用整个集群。
- 并且，为了保证集群资源调度和数据访问的高效性，Yarn还必须能够感知整个集群拓扑结构。
为了实现这些目标，ResourceManager的调度器Scheduler为应用程序的资源请，求定义了一些灵活的协议，Resource Request和Container。
- 一个应用先向ApplicationMaster发送一个满足自己需求的资源请求
- 然后ApplicationMaster把这个资源请求以resource-request的形式发送给ResourceManager的Scheduler
- Scheduler再在这个原始的resource-request中返回分配到的资源描述Container。