Hadoop YARN

功能介绍–资源管理、任务调度

YARN简介

• Apache Hadoop YARN（Yet Another Resource Negotiate，另一种资源协调者）是一种新的Hadoop资源管理器。
• YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。
• 它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

YARN功能说明

• 资源管理系统：集群的硬件资源，和程序运行相关，比如内存、CPU等。
• 调度平台：多个程序同时申请计算资源如何分配，调度的规则（算法）。
• 通用： 不仅仅支持MapReduce程序，理论上支持各种计算程序。YARN不关心你干什么，只关心你要资源，在有的情况下给你，用完之后还我。

YARN概述

• 可以把Hadoop YARN理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存、CPU等）。
• Hadoop能有今天这个地位，YARN可以说是功不可没。因为有了YARN，更多计算框架可以接入到HDFS中，而不单单是MapReduce，正是因为YARN的包容，使得其他计算框架能专注于计算性能的提升。
• HDFS可能不是最优秀的大数据存储系统，但却是应用最广泛的大数据存储系统，YARN功不可没。