Apache Hadoop YARN详解

liuhanyuu

已于 2023-04-28 22:37:23 修改

阅读量757

点赞数 1

文章标签： hadoop yarn 大数据

于 2023-04-23 22:01:17 首次发布

本文链接：https://blog.youkuaiyun.com/m0_37967990/article/details/130330248

版权

YARN是Hadoop2.0后的资源管理器，负责分配和管理服务器计算资源。它由ResourceManager、NodeManager、ApplicationMaster和Container组成。ResourceManager全局调度资源，NodeManager管理节点资源，ApplicationMaster监控应用执行，Container是资源分配单位。Spark向YARN提交任务有Client和Cluster两种模式，生产环境通常用Cluster模式。YARN通过Zookeeper实现HA高可用，确保ResourceManager的主备切换和隔离。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官方文档Apache Hadoop YARN： https://hadoop.apache.org/docs/r3.3.5/hadoop-yarn/hadoop-yarn-site/YARN.html

一、什么是Yarn ？

YARN(Yet Another Resource Negotiator，另一种资源协调者)是hadoop2.0后推出的一个资源管理器。YARN是一个通用资源管理系统和调度平台，负责为运算程序提供服务器计算资源，相当于一个分布式的操作系统平台，而 MapReduce、Spark、Flink 等运行程序则相当于运行于操作系统平台之上的应用程序。

MRv2重用了MRv1中的编程模型和数据处理引擎。但运行时环境（ResourceManager、NodeManager）被完全重写，由YARN来专门进行资源管理和任务调度。

Apache Hadoop YARN是一个主从架构集群，其中ResourceManager为Master，NodeManager为Slave。

常见的是一主多从集群，也可以搭建RM的HA高可用集群，也就是多主多从集群。

二、YARN的架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container组成，其中ResourceManager和NodeManager是物理集群层面的节点，ApplicationMaster是应用层面的应用，Container(Resource Container，简称Container)是一个抽象的资源分配单位。