Yarn介绍及调度器

最新推荐文章于 2025-01-09 16:08:33 发布

原创

最新推荐文章于 2025-01-09 16:08:33 发布 · 362 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#yarn #调度器

本文详细介绍了YARN在Hadoop集群中的角色，包括其作为资源管理器的主要组件（ResourceManager、NodeManager、ApplicationMaster和Container）以及工作流程。重点讨论了YARN的调度器，如FIFO、Capacity和Fair调度器的工作原理，并提供了YARN常用配置参数的设置，如container的内存和虚拟内核数量，以及NodeManager的资源分配等。

yarn资源调度

1.yarn的介绍：

yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。

 yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个**全局的资源管理（ResourceManager，RM）**，以及每个应用程序对应一个的**应用管理器（ApplicationMaster，AM）**

总结一句话就是说：yarn主要就是为了调度资源，管理任务等

其调度分为两个层级来说：

一级调度管理：

计算资源管理(CPU,内存，网络IO，磁盘)
二级调度管理：

任务内部的计算模型管理 (AppMaster的任务精细化管理)

yarn的官网文档说明：

http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-site/YARN.html

yarn集群的监控管理界面：

http://node01:8088/cluster

jobHistoryServe

最低0.47元/天解锁文章