10、YARN 应用与实时计算框架深度解析

YARN 应用与实时计算框架深度解析

1. YARN 的容错与监控机制

YARN 虽不直接管理应用进度，但会执行一系列持续任务。在资源管理方面：
- 应用主节点监控 ：资源管理器中的 AMLivelinessMonitor 接收所有应用主节点（ApplicationMasters）的心跳信息。若判定某个应用主节点失败或停止工作，会将其注销并释放分配的所有容器，同时资源管理器会按配置次数重新调度应用。
- 节点管理器监控 ：资源管理器中的 NMLivelinessMonitor 接收节点管理器（NodeManagers）的心跳，跟踪集群中每个节点管理器的健康状况。若 10 分钟未收到心跳，节点管理器会被标记为死亡，其分配的容器也会被标记为死亡，该节点将不再参与后续资源分配。
- 容器资源监控 ：节点管理器会主动监控每个分配容器的资源使用情况，对于未设置硬限制的资源，会终止超出资源分配的容器。

在调度层面，YARN 调度器会在资源共享策略约束下，最大化集群利用率。低优先级应用在资源竞争较小时可使用更多集群资源，但当有高优先级应用提交时，调度器会抢占这些额外容器。而应用级别的容错和进度监控，大部分需在应用代码中实现，如 YARN 上的 MapReduce，任务调度和重试管理都在应用级别完成。

2. 分层思考与 YARN 应用开发

直接使用 YARN API 开发应用具有一定难度，其 API 较为底层，让许多只想处理数据的开发者望而却步。不过，通常无需为每个应用都