YARN capacity schedule配置注意点

最新推荐文章于 2022-08-11 12:18:06 发布
最新推荐文章于 2022-08-11 12:18:06 发布
阅读量1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop Hadoop与Kubernetes学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hahachenchen789/article/details/81177004
本文主要介绍了YARN容量调度器中两个关键配置项的设置方法：resource-calculator的选择及队列资源分配比例的设定。前者决定了资源计算方式，后者影响任务调度效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

以下都在capacity-scheduler.xml中配置

 

1.yarn.scheduler.capacity.resource-calculator

这里如果不配置。则默认是用：org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator,它只会计算内存。

从而导致了在分配时，mem正常分配，而vcores始终分配1个。

而DominantResourceCalculator则会计算内存和CPU。

 

2.队列的占比。

yarn.scheduler.capacity.root.<queue>.capacity

尽量平均分配，不然可能某个队列的资源需求很多，但分配比很少，会导致调度卡死。

YARN Capacity Scheduler原理与代码实例讲解
AI天才研究院
06-07 436
YARN Capacity Scheduler原理与代码实例讲解 1.背景介绍 YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理框架，它负责管理集群资源并调度应用程序。YARN的Capacity Sc
YARN调度器【capacity-scheduler.xml】默认配置
ArYe
04-23 1586
常见调度器 先进先出调度器 容量调度器 公平调度器 多队列 多队列配置 默认配置文件【capacity-scheduler.xml】 先进先出调度器 first-in first-out scheduler IFIO Scheduler 先入队的先出队 先入队的会阻塞后入队的 可以配置： 1、每个用最大占比，防止单个用户把资源占满？？？？ 2、限制哪些用户可以提交应用 容量调度器 相当于 多个 IFIO 默认最大容量 容量最大可以借到多少 公平调度器 容量调度器 多队列
yarn任务调度--capacity scheduler（容量调度） / fair schedule
weixin_34092370的博客
02-19 496
2019/2/19 星期二 yarn任务调度--capacity scheduler（容量调度） / fair scheduler（公平调度）由于集群资源有限，当无法满足众多application 的资源请求时，yarn 需要适当的策略对application 的资源请求进行调度；Scheduler 概述Yarn 中实现的调度策略有三种：FIFO/Capacity/Fair Schedulers（...
Yarn简介及Capacity & Fair Scheduler
hongtaq156136的专栏
09-06 1489
arn简介 Yarn(Yet Another Resource Negotiator)是hadoop2中引入的一个集群资源管理系统。 在YARN中，有两种核心服务：一个是ResourceManager，一个是NodeManager。前者每个集群有一个，用来管理集群上资源的使用；后者则是每个节点拥有一个，用来负责启动和监控Container。其中Container是一个拥有一定资源(cpu, m...
Capacity Scheduler 队列设置
扳掘de博客
08-10 862
先附一个官网地址 Capacity Scheduler是YARN中默认的资源调度器。 相关参数配置： 资源分配相关参数 (1) capacity：队列的资源容量（百分比）。 当系统非常繁忙时，应保证每个队列的容量得到满足，而如果每个队列应用程序较少，可将剩余资源共享给其他队列。 注意，所有队列的容量之和应小于100。 (2) maximum-capacity：队列的资源使用上限
yarn 调度器 resourcemanager 的 Capacity Scheduler 部分配置说明
Istvan563的博客
06-27 2859
因为看的总是绕人，就自己用自己的话写了一份说明，有不对的地方还希望指出 yarn.scheduler.capacity.root.queues            新建队列名 yarn.scheduler.capacity.resource-calculator    资源调度器，默认为：org.apache.hadoop.yarn.util.resource.DefaultResour
详解Yarn中三种资源调度器（FIFO Scheduler、Capacity Scheduler、Fair Scheduler）和配置自定义队列实现任务提交不同队列
weixin_43230682的博客
07-16 4360
前言 在前面 Yarn的基本架构和作业提交全流程 一文中提到，当ResourceManager收到客户端Client的请求之后会将该作业job添加到（默认的）容量调度器中，然后再由某一个空闲的NodeManager领取该job并具体提供运算资源。那么，Yarn框架为什么要设计把作业添加到调度器中呢？ 假设你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是
yarn3.2源码分析之CapacityScheduler的心跳调度
lzf的博客
02-26 2970
CapacityScheduler#nodeUpdate()方法 protected void nodeUpdate(RMNode rmNode) { long begin = System.nanoTime(); try { readLock.lock(); setLastNodeUpdateTime(Time.now()); super....
Hadoop学习（二）——Capacity Scheduler学习
Remoa的休闲茶馆
10-23 2569
1、Capacity Scheduler资源调度器的特点： 2、官方文档查看： 3、在Ambari上配置Resource Manager的Capacity Scheduler资源调度器： 4、结果展示：
YARN 三大调度器 之 Capacity Schedule 容器调度器
努力吧闫小胖的博客
09-05 1581
Capacity Schedule 先上官网链接：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 本帖基本来自官方文档~细改了翻译，字有点多，多为文字描述= =慢慢看 另一篇：YARN 三大调度器 之 Fair Schedule 公平调度器 概述 Hado...
YARN基本框架和工作流程
Xlucas的博客
12-26 6249
问题 1、YARN的基本组成架构 2、YARN的通信协议 3、YARN工作流程YARN是Hadoop2.0中资源管理系统，它的基本设计思想是将MRV1中的jobtracker拆分成了两个独立的服务：一个全局的资源管理器resourceManager和每个应用程序特有的ApplicationMaster，其中resourceManager负责整个系统的资源管理和分配，而ApplicationMa
yarn sls源码的理解与schedule.xml配置实验
snowleafzf的博客
11-20 558
part1. slsl测试时的语句 echo "!!!!!!!into autoSubmitJobs.sh" dir=/usr/local/hadoop/share/hadoop/tools/sls rm -rf $dir/my-logs mkdir $dir/my-logs rm -rf /usr/local/hadoop/share/hadoop/tools/sls/yumh-err.t...
2020-09-17
ObjectException的博客
09-17 417
Yarn资源队列配置和使用 前言 试想一下，你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景，这个时候到底如何分配资源满足这两个任务呢？是先执行A的任务，再执行B的任务，还是同时跑两个？ 如果你存在上述的困惑，可以多了解一些yarn的资源调度器。 在Yarn框架中，调度器是一块很重要的内容。有了合适的调度规则，就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO，即按照用户提
[hadoop]yarn调度器
胖胖的博客
07-13 810
yarn调度器
yarn资源配置及使用
q495673918的博客
08-11 3055
理想情况下，应用提交到yarn上立马就可以获得资源执行任务，但是现实情况资源往往是有限的，任务执行的先后及获得资源的多少，yarn给我们提供了多种调度器和配置策略供我们选择。适合多个组织共享整个集群，每个组织分配专门的队列，然后每个队列分配一定的资源。资源按百分比进行分配成多个队列，且队列资源可以设置弹性，在队列资源不够的时候可以使用其他队列资源，其他队列有任务的时候会在本队列任务执行完成释放资源还给其他队列。在队列内部，资源调度采用先进先出(FIFO)策略。......
YARN资源调度策略之Capacity Scheduler
weixin_33916256的博客
04-27 370
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop之核心调度Yarn Part Two
wangsofa的博客
03-04 765
上一篇讲到Yarn是什么？讲到这，我们知道其有哪些调度方式吗？YARN之三种调度方式：下面主要讲CapacityScheduler实现逻辑：一、应用程序初始化 应用程序被提交到...
yarn 资源调度之Capacity Scheduler
yumingzhu1的博客
07-26 2151
什么是capacity scheduler Capacity Scheduler调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图： default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。 队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限
yarn配置及文件解析指南
在深入探讨yarn配置文件的相关知识点之前，首先要明确什么是yarn。Yarn是由Facebook、Google、Exponent和Tilde开发的一款新的JavaScript包管理器，目的是为了弥补npm在某些方面的不足，比如包安装速度慢和依赖关系...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值