Yarn 内存分配管理机制及相关参数配置

1.背景

理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。

1. yarn的架构

从上图可以看到 ，当客户向ResourceManager提交 作业时，由AM负责向ResourceManager提出资源申请，和向NameManager（NM）提出task执行 。

也就是说 在这个过程中，ResourceManager负责资源调度，AM 负责任务调度。

几点重要说明：

1. ResourceManager负责整个集群的资源管理与调度；
2. Nodemanager(NM)负责单个节点的资源管理与调度；
3. NodeManager定时的通过心跳的形式与ResourceManager进行通信，报告节点的健康状态与内存使用情况；
4. AM通过与ResourceManager交互获取资源，然后然后通过与NodeManager交互，启动计算任务。

下面对上面的内容通过内存资源配置进行详细