资源调度框架YARN

YARN是Hadoop2.0中独立出来的资源管理调度框架,取代了MapReduce1.0中的资源管理功能。它包含ResourceManager、Scheduler、Applications Manager、NodeManager和ApplicationMaster等组件。ResourceManager负责全局资源分配,调度器分配容器资源,ApplicationMaster管理应用程序执行。YARN的工作流程涉及应用程序提交、资源申请、任务执行和进度报告等步骤。

目录

 

一、概述

二、YARN的体系结构

三、YARN的工作流程


一、概述

MapReduce1.0既是一个计算框架,也是一个资源管理调度框架。到了Hadoop2.0以后,MapReduce1.0中的资源管理调度功能,被单独分离出来形成了YARN,它是一个纯粹的资源管理调度框架,而不是一个计算框架。被剥离了资源管理调度功能的MapReduce 框架就变成了MapReduce2.0,它是运行在YARN之上的一个纯粹的计算框架,不再自己负责资源调度管理服务,而是由YARN为其提供资源管理调度服务。

二、YARN的体系结构

ResourceManager

           调度器(Scheduler

           应用程序管理器(Applications Manager

NodeManager

ApplicationMaster

ResourceManager

ResourceManager(RM)是一个全局的资源管理器,负责整个系统的资源管理和分配,主要包括两个组件,即调度器(Scheduler)和应用程序管理器(Applications Manager)。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值