YAEN学习

YARN作为Hadoop 2.x版本中的关键组件,解决了资源管理和任务调度的问题,实现了资源管理和任务监控调度的分离,支持多种应用如MapReduce和Spark。本文介绍了YARN的架构,包括ResourceManager和ApplicationMaster的角色,以及YARN的资源调度机制,包括FIFO、CapacityScheduler和FairScheduler等调度器。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

YARN 的前世今生:
hadoop1.x版本中最大的问题就是资源问题
对数据的处理和资源调度主要依赖MapReduce完成
只能运行MapReduce程序
JobTracke负责资源管理和程序调度,压力较大
hadoop2.x版本添加yarn
主要负责集群资源管理
YARN概述
YARN 核心思想是将资源管理和任务的监控和调度分离
通用的资源管理系统,可为不同的应用(MapReduce,spark )

YARN的基本架构核心组件
YARN 的架构是master、slaves的主从架构

YARN架构核心组件-ResourceManager
ResourceManager组成
ResourceScheduler->资源调度器,根据节点的容量、队列情况,为应用程序分配资源
Application Manager->应用程序管理器,负责接受Client端传输的job请求
ResourceManager功能
处理客户端请求
监控NodeManager
启动和监控ApplicationMaster,进行必要的重启
整个系统的资源分配和调度

YARN架构核心组件-ApplicationMaster
ApplicationMaster功能
每个应用程序对应一个ApplicationMaster,负责单个应用程序的管理
负责数据切分
为应用程序向ResourceManager申请资源(Container),并分配内部任务(MapTask和ReduceTask)
与NodeManager通信来启动/停止任务,Task都是运行在Container中的
负责任务的监控和容错,当某些Task运行出错,进行容错处理

yarn 的工作机制
在这里插入图片描述
YARN的资源调度器
目前Hadoop作业调度器有三种
FIFO:先进先出调度器
Capacity Scheduler:容量调度器
Fair Scheduler:公平调度器
默认的作业调度器可以在yarn-default.xml文件中查看,属性如下
yarn.resourcemanager.scheduler.class
Hadoop版本2.6.0-cdh5.14.2的默认调度器是公平调度器

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值