hadoop生态圈之任务调度器yarn

最新推荐文章于 2024-04-19 12:50:53 发布

程序媛-团子

最新推荐文章于 2024-04-19 12:50:53 发布

阅读量332

点赞数

分类专栏：大数据文章标签： yarn yarn工作原理 yarn组件

本文链接：https://blog.youkuaiyun.com/hzs33/article/details/88039618

版权

YARN是Hadoop 2.x引入的资源调度器，负责管理和调度集群资源，支持多种计算框架如MapReduce、Hive、Spark等。YARN由ResourceManager、ApplicationMaster、Container和NodeManager组成，其中ResourceManager负责全局资源调度，与ApplicationMaster和NodeManager通信；ApplicationMaster管理应用程序，申请和监控资源；Container是任务运行的基本单位；NodeManager是每个节点的代理，监控任务资源使用。YARN的工作流程包括应用程序提交、资源申请、任务启动和监控、资源回收等。用户可以通过YARN的Web UI来查看资源使用和作业状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

yarn出现

yarn是hadoop2.x后出现负责资源调度，它不仅支持mapreduce的计算，还支持hive、spark等计算框架的计算。

yarn组件

yarn包含组件：resourceManager、ApplicationMaster、Container、NodeManager

resourceManager: 负责资源调度，与AM进行通信、与NodeManager进行通信。NodeManager通过心跳机制告知resourceManager自己的资源情况;RM通过RM-AM接口与AM进行通信。

它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。调度器调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。应用程序管理器应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动 ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动它等。

AM:用户提交的每个应用程序均包含一个 AM，与RM通信获取运行任务的资源，对运行在Container的任务进行资源调度。在任务完成后通知RM，回收资源

Container:真正运行的任务的容器，与AM进行通信，报告AM作业运行情况

NodeManager:每一台机器框架的代理，是执行应用程序的容器，监控应用程序的资源使用情况 (CPU，