5、深入了解YARN：概念、组件与操作指南

深入了解YARN：概念、组件与操作指南

1. YARN概述

YARN（Yet Another Resource Negotiator）是一个负责资源调度和监控的框架，同时也支持在集群中执行特定应用逻辑的应用程序。它主要由两部分组成：YARN框架和YARN应用程序。

1.1 YARN框架

YARN框架的主要功能是在集群中调度资源（即容器）。集群中的应用程序与YARN框架通信，请求分配特定于应用程序的容器，YARN框架会评估这些请求并尝试满足它们。此外，YARN调度的一个重要部分还包括监控当前正在执行的容器，这有两个重要原因：一是容器完成后，调度器可以使用释放的容量来调度更多工作；二是每个容器都有一个指定其允许使用的系统资源的合约，当容器超出这些限制时，调度器可以终止容器，以避免异常容器影响其他应用程序。

YARN框架的设计尽可能简单，它不关心正在运行的应用程序类型，也不保留集群上执行的任何历史信息。这些设计决策是YARN能够超越MapReduce扩展级别的主要原因。

YARN框架由两个主要组件组成：
- ResourceManager（资源管理器） ：一个Hadoop集群中只有一个ResourceManager，它是YARN的主进程，其唯一功能是仲裁Hadoop集群上的资源。它响应客户端创建容器的请求，调度器根据特定的多租户规则确定何时何地可以创建容器。与Hadoop 1一样，ResourceManager的调度器部分是可插拔的，这意味着你可以选择最适合你环境的调度器。实际创建容器的任务委托给NodeManager。
- NodeManager（节点管理器） </