Hadoop生态 -- YARN 架构原理与工作机制详解-优快云博客

本文链接：https://blog.youkuaiyun.com/csdn_tom_168/article/details/149319782

Hadoop YARN 架构原理与工作机制详解

一、YARN 核心设计思想

1.1 架构演进背景

Hadoop 1.0 局限：
- JobTracker 单点故障
- 资源利用率低（Map/Reduce 槽位固定分配）
- 仅支持 MapReduce 计算模型
YARN 创新：
- 资源管理与作业调度解耦
- 通用资源管理平台
- 支持多种计算框架（Spark, Flink, MPI等）

1.2 设计原则

可扩展性：支持 10,000+ 节点集群
高可用性：关键组件无单点故障
多租户支持：资源隔离与配额管理
兼容性：无缝支持 MapReduce 应用
灵活性：支持多种计算框架

二、YARN 架构深度解析

2.1 核心组件交互

2.2 组件职责详解

(1) ResourceManager（RM）

全局资源协调者：
- 核心模块：
  - ApplicationsManager：应用生命周期管理
  - ResourceScheduler：资源分配决策
- 关键功能：
  - 处理客户端请求
  - 启动 ApplicationMaster
  - 监控节点资源
  - 仲裁应用资源请求

(2) NodeManager（NM）

节点资源管理者：
- 职责矩阵：
  功能描述
  资源监控跟踪节点CPU/内存使用
  容器管理启停容器、资源隔离
  健康检查磁盘健康、节点状态
  日志管理聚合日志到HDFS
- 关键机制：
  - 定期心跳（默认3秒）
  - 容器资源隔离（cgroups/Docker）

功能	描述
资源监控	跟踪节点CPU/内存使用
容器管理	启停容器、资源隔离
健康检查	磁盘健康、节点状态
日志管理	聚合日志到HDFS

(3) ApplicationMaster（AM）

应用专属管家：
- 核心职责：
  - 资源协商（与RM交互）
  - 任务调度（与NM交互）
  - 容错处理（任务重试）
  - 进度监控
- 框架示例：
  - MapReduce：MRAppMaster
  - Spark：SparkAppMaster
  - Flink：FlinkJobManager

(4) Container

资源抽象单元：

// 容器资源定义
public class Container {
    private ContainerId containerId;
    private NodeId nodeId;
    private Resource resource; // CPU+内存
    private Priority priority;
    private ContainerState state;
}

资源隔离机制：
- Linux Container（默认）
- Docker Container
- Windows Server Container

三、YARN 工作机制全流程

3.1 应用提交阶段

3.2 资源申请阶段

3.3 任务执行阶段

3.4 应用完成阶段

四、核心机制深度剖析

4.1 资源调度机制

(1) 调度器比较

特性	FIFO	Capacity Scheduler	Fair Scheduler
资源分配	先进先出	队列资源保证	公平分配
弹性	无	队列间借用	动态平衡
隔离性	无	队列隔离	资源池隔离
适用场景	测试	多租户生产环境	混合负载

(2) 调度算法流程

4.2 容错机制

(1) 故障类型处理

故障类型	检测机制	恢复策略
AM失败	RM心跳超时	重启AM（最大尝试次数）
NM失败	RM心跳超时	迁移容器到健康节点
容器失败	AM状态监控	重试任务（可配置次数）
RM失败	ZK会话超时	主备切换（自动故障转移）

(2) AM容错流程

4.3 资源模型与分配

(1) 资源抽象

public class Resource {
  private int memory; // MB
  private int vCores; // 虚拟核
  private Map<String, String> resources; // 扩展资源(GPU/FPGA)
}

(2) 资源分配策略

增量分配：
- AM逐步请求资源（避免一次性占用）
本地性优先：
- 优先级：节点本地 > 机架本地 > 任意节点
黑名单机制：
- 避免重复分配到故障节点

五、高级特性解析

5.1 节点标签机制

5.2 资源抢占策略

触发条件：
- 高优先级任务等待超时
- 队列资源低于保障阈值
执行流程：
1. 选择牺牲容器（低优先级/新创建）
2. 发送优雅终止信号
3. 强制终止（超时不响应）

5.3 容器增强特性

特性	描述	配置参数
Docker容器	应用隔离	`yarn.nodemanager.container-executor.class=docker`
GPU支持	加速计算	`yarn.resource-types=yarn.io/gpu`
动态资源	运行时调整	`yarn.resourcemanager.assign.multiple.enabled=true`

六、性能优化实践

6.1 配置调优指南

<!-- yarn-site.xml 优化示例 -->
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value> <!-- 避免碎片化 -->
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>16384</value> <!-- 匹配物理内存 -->
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>57344</value> <!-- 预留20%系统内存 -->
</property>

6.2 最佳实践原则

AM资源优化：
- 足够资源防止频繁重启
- 但不超过总资源5%
容器大小黄金法则：
- 内存：4-8GB
- vCores：2-4核
- 平衡并行度和调度开销
本地性优化：
- 数据与计算同节点
- 使用HDFS短路读

七、典型应用场景

7.1 混合工作负载支持

7.2 大规模集群案例

公司	集群规模	工作负载	YARN特性
LinkedIn	10,000+节点	日均百万作业	精细队列管理
字节跳动	50,000+节点	混合负载	弹性资源池
阿里巴巴	100,000+节点	电商+AI	定制调度器

八、YARN 演进方向

8.1 架构演进

统一资源管理：
- 支持Kubernetes集成
- 跨集群资源共享
精细化调度：
- 基于AI的预测调度
- 实时动态调整
异构计算：
- 量子计算支持
- 神经形态芯片集成

8.2 云原生支持

架构师洞察：
YARN的本质是分布式操作系统的资源管理层，其核心价值在于将硬件资源抽象为统一服务层。
未来将向"资源即服务"(Resource-as-a-Service)演进，成为跨平台、跨硬件的通用资源管理层。
关键挑战在于平衡资源利用率与任务SLA，这需要结合实时监控和智能调度算法。