---大数据入门学习笔记（肆）-分布式资源调度YARN

（MapReduce：Master/Slave架构，1个JobTracker带多个TaskTracker）

• JobTracker： 负责资源管理和作业调度，任务分配
• TaskTracker：定期向JT汇报本节点的健康状况、资源使用情况、作业执行情况；接收来自JT的命令：启动任务/杀死任务

在1中；资源叫slot；每台节点只有获取到了slot才可以启动多少个map和多少个reduce；不能够指定cpu资源；启动后也不可更改资源。比较粗糙；难以共享集群资源。

MapReduce V1 执行job流程


2. 资源利用率（CPU；内存；存储IO-集群之间的数据交互）&运维成本，如下图：

3. 催生了YARN的诞生

YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度
XXX on YARN的好处：（XXX: Spark/MapReduce/Storm/Flink）
与其他计算框架共享集群资源，按资源需要分配，进而提高集群资源的利用率

YARN概述

• 从Hadoop 2.0开始出现了Yarn
• Yet Another Resource Negotiator （另一个种资源协调者）
• 通用的资源管理系统
  • 为上层应用提供统一的资源管理和调度
    
    ResurceManager(RM)：
    RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理和分配，包括处理客户端请求、启动/监控APP master、监控nodemanager、资源的分配与调度。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

调度器
调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。此外，该调度器是一个可插拔的组件，用户可根据自己的需要设计新的调度器，YARN提供了多种直接可用的调度器，比如Fair Scheduler和Capacity Scheduler等。

应用程序管理器
应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。

YARN架构

YARN架构：

1. ResourceManager: RM（通常会另外部署一个standby来解决单点故障）
   • 一个集群只有一个，全局的资源管理器
   • 处理客户端的请求： 提交一个作业、杀死一个作业
   • 监控Node Manger，汇总上报的资源
   • 根据请求分配资源
2. NodeManager: NM
   • 每个从属节点一个
   • 管理自身所属节点的资源
   • 监控资源使用情况（cpu, memory, disk,network)并向Resource Manager汇报
   • 接收并处理来自RM的各种命令：启动Container
   • 处理来自AM的命令
   • 单个节点的资源管理
3. ApplicationMaster: AM
   • 每个应用程序对应一个：MR、Spark，负责应用程序的管理
   • 为应用程序向RM申请资源（core、memory），分配给内部task
   • 需要与NM通信：启动/停止task，task是运行在container里面，AM也是运行在container里面
4. Container
   • 封装了CPU、Memory等资源的一个容器
   • 是一个任务运行环境的抽象
5. Client
   • 提交作业
   • 查询作业的运行进度
   • 杀死作业

通常NodeManager会和DataNode混合部署，why?
可以从内存、cpu、磁盘的使用来讲。

Yarn 基本思想

• 在MapReduce V1中
  • JobTracker = 资源管理器 + 任务调度器
• 在Yarn中做了切分
  • 资源管理
    • 让ResourceManager负责
  • 任务调度
    • 让ApplicationMaster负责
      • 每个作业启动一个
      • 根据作业切分任务tasks
      • 向Resource Manager申请资源
      • 与NodeManager协作，将分配申请到的资源给内部任务tasks
      • 监控tasks运行情况，重启失败的任务
• JobHistoryServer
  • 每个集群每种计算框架一个
  • 负责搜集归档所有的日志

Yarn 计算资源抽象

• 在Yarn中，计算资源被抽象为Container
• 每个Container描述