yarn划分队列示例

最新推荐文章于 2024-05-28 01:40:13 发布
最新推荐文章于 2024-05-28 01:40:13 发布
阅读量489 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：https://yq.aliyun.com/articles/509985

修改Yarn服务的配置，修改Capacity Scheduler配置项如下：

修改部分：
yarn.scheduler.capacity.root.default.capacity=60
yarn.scheduler.capacity.root.default.maximum-capacity=60
yarn.scheduler.capacity.root.queues=default,dev

新增部分：
yarn.scheduler.capacity.root.dev.capacity=40
yarn.scheduler.capacity.root.dev.maximum-capacity=40
yarn.scheduler.capacity.root.dev.state=RUNNING
yarn.scheduler.capacity.queue-mappings=u:etl:dev,u:ETL:dev,u:gotop:dev,u:hive:default,g:hadoop:dev,g:hdfs:dev
yarn.scheduler.capacity.queue-mappings-override.enable=true
yarn.scheduler.capacity.root.dev.acl_administer_jobs=
yarn.scheduler.capacity.root.dev.acl_submit_applications=










本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/2049794，如需转载请自行联系原作者
YARN Resource Manager原理与代码实例讲解
AI天才研究院
06-06 735
YARN Resource Manager原理与代码实例讲解 1.背景介绍 1.1 YARN架构概述 Apache Hadoop YARN(Yet Another Resource Negotiator)是Had
YARN Container原理与代码实例讲解
AI天才研究院
06-29 651
YARN Container原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM YARN Container原理与代码实例
hadoop使用Yarn进行资源队列划分管理
迷默的博客
11-08 4156
      最近在做一个使用sqoop抽取数据最终存进hawq里面的一个项目，然后在做项目的过程，因为经验等一系列的问题，碰到了不少坑，现在将我最近碰到的一个坑写一下，现象大致是这样的，数据在通过sqoop跑量时，会出现跟hawq哄抢资源的情况，也就是我通过yarn application -list 命令，我能明显看到hawq的一个进程一直在占用着资源，没法释放出来给sqoop使用 就是图...
CDH Yarn资源队列划分管理
高矮
06-02 1万+
CDH Yarn资源队列划分管理 场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的 CDH版本：5.11.0 配置： 1、 yarn资源队列参数设置： (1) yarn.scheduler.fair.user-as-default-queue false 根据图中中文解释可知，这个参数设置为false后，没有创建资源队列的用户，提交任务时，任...
YARN多资源队列配置和使用
woailyoo0000的博客
01-23 5961
一. YARN的由来 从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。 所以YARN可以是实现Hadoop集群的资源共享，不仅仅可以跑MapReduce，还可以跑Spark，Flink。 二.YARN架构 YARN主要负责集群资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个. 其中: ResourceManager: 这是主节点，主要负责集群资源的分配和管理 NodeManager:
大数据篇--Yarn资源队列配置和使用
小强签名设计 的博客
09-30 9564
文章目录一、前言二、调度器的选择三、Ambari2.7.4+HDP3.1.4.0中配置fair-scheduler 一、前言   理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。   试想一下，你现在所在
YARN资源队列管理：确保资源合理分配的高级策略
![YARN资源队列管理：确保资源合理分配的高级策略](https://developer.harness.io/assets/images/control-resource-usage-with-queue-steps-06-0516e977fbe0d1ed1ef723d0c339c8ed.png) ...YARN通过资源队列来组织资源，
Hadoop Yarn架构及任务提交流程
初心江湖路的博客
03-02 940
一、Yarn架构图 图片来自官网 二、Yarn架构的主要组件 1、ResourceManager 这是一个全局性组件，负责整个集群资源管理。其两个主要的组件分别为Scheduler（调度器）和 ApplicationsManager（应用管理器）。 Scheduler 调度器Scheduler是支持可插拔的，用于根据不同的队列、应用等来划分集群资源，如 CapacityScheduler 按照容...
Yarn 原理与代码实例讲解
AI天才研究院
05-28 658
Yarn 原理与代码实例讲解 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 Yarn 的诞生 在大数据时代,数据处理和分析的需求不断增长。Apache Hadoop 作为一个开源的分布式计算框架,为大规模数据处理提供了可
hadoop 2.7.2 yarn中文文档—— Capacity Scheduler
小小北漂
09-28 6428
目标 本文档将描述CapacityScheduler，它作为一个可插拔的hadoop调度器,允许多租户安全的共享一个大的集群，在资源分配有限的条件下适时的为应用程序分配资源。   综述 CapacityScheduler被设计作为一个共享的、多租户集群用来运行hadoop应用，在操作友好的方式下最大化集群吞吐量和利用率 。 传统的，每个组织(Organ
[hadoop]yarn调度器
胖胖的博客
07-13 811
yarn调度器
yarn 资源调度之Capacity Scheduler
yumingzhu1的博客
07-26 2151
什么是capacity scheduler Capacity Scheduler调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图： default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。 队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限
YARN队列用户提交作业权限配置
lin86182824的博客
07-27 5088
一、背景 yarn层面做queue资源隔离，是为了划分不同资源给不同开发人员，甚至不同团队的人。 1、用户默认队列配置 某个用户或者某个小组的成员，默认情况下，提交到指定的队列中（而不是提交到root.default中） 2、队列权限配置 某个用户或者某个小组的成员，只能把任务提交到指定的队列中（队列权限） 3、hadoop group mapping 我们后续的配置中，会有用户组的权限配置，所以这里要特地说明下组映射的事情 hadoop默认是拿namenode所在机器的linux用户的用户组信息，也就是说
YARN的队列配置
HYSliuliuliu的博客
12-13 8939
- MRAppMaster进程所占的资源可以占用队列总资源的百分比，可以通过修改这个参数来限制队列中提交Job的数量 -->-- default队列用户能使用的容量最大百分比 -->-- small队列用户能使用的容量最大百分比 -->-- default队列能使用的容量最大百分比 -->-- small队列能使用的容量最大百分比 -->-- 配置default队列的容量百分比 -->-- 新增small队列的容量百分比 -->-- default队列的状态 -->-- small队列的状态 -->
利用yarn多队列实现hadoop资源隔离
bbaiggey_bigdata的博客
12-11 1万+
大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，我们来研究一下yarn多队列做资源隔离 请尊重原创，转载请注明来源网站www.shareditor.com以及原始链接地址 CapacityScheduler 使用过第一代hado
Yarn队列
小白成小黑
08-09 4139
yarn队列提交spark任务权限控制 转载请注明出处：http://www.cnblogs.com/xiaodf/ 1 CapacityScheduler 1.1 模型介绍 1.2 资源分配相关参数 1.3 限制应用程序数目相关参数 1.4 队列访问和权限控制参数 2 线上实例 2.1 配置 2.1.1 配置ResourceManager使用CapacitySch...
【Yarn】hadoop的yarn资源队列
热门推荐
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
yarn资源调度设置
weixin_34409822的博客
07-20 292
下面配置的是两个队列default和etl， default队列分配20%的处理能力, etl队列分配80%的处理能力,用户dba只能向default队列提交作业，用户etl只能向etl队列提交作业，dba用户组只能向default队列提交任务：yarn.scheduler.capacity.maximum-am-resource-percent=0.2 --AM可以占用资源...
yarn面试题
最新发布
07-14
<think>首先，用户查询是关于Yarn的常见面试题及其答案解析。Yarn是Hadoop生态系统中的一个资源管理器。 我需要回顾系统级指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 用户可见层： - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 参考站内引用： - 引用[1]：提到一些面试题，如Application的container类型、Executor资源参数、task map数量、调度器、Executor FULL gc等。 - 引用[2]：描述YARN运行应用程序的两个阶段：启动ApplicationMaster和ApplicationMaster创建应用程序。 - 引用[3]：解释Hadoop、HDFS等。 这些引用是关于Hadoop和YARN的面试题和概念，我可以基于这些构建回答。用户明确要求Yarn相关的面试题，所以我应该专注于YARN。 结构化回答： 1. **介绍**：简要解释YARN是什么。 2. **常见面试题**：列出几个常见的YARN面试题，并提供答案解析。 3. **生成相关问题**：在回答末尾添加相关问题部分。 生成相关问题：在回答结束时，添加一个“相关问题”部分，类似于示例中的“§§相关问题§§”。 确保回答真实可靠：基于我的知识，YARN是Hadoop的资源管理框架，负责集群资源管理和作业调度。我会使用引用中的信息来支持回答。 关键面试题从引用中提取： - 从引用[1]：运行在YARN中的Application有几种类型的container？Executor启动时资源参数？调度器工作原理？Executor FULL gc原因？ - 从引用[2]：YARN运行应用程序的两个阶段。 - 从引用[3]：HDFS相关，但用户指定YARN，所以聚焦YARN。 可能的YARN面试题： 1. YARN是什么？它的作用是什么？ 2. YARN的架构组件有哪些？ 3. YARN如何工作？运行应用程序的步骤？ 4. Container是什么？ 5. ApplicationMaster的作用？ 6. YARN的调度器有哪些？ 7. 资源请求和分配如何工作？ 8. 如何处理失败？ 基于引用[2]，YARN运行应用程序有两个阶段：启动ApplicationMaster和ApplicationMaster创建应用程序。 添加引用标识：在引用段落末尾添加[^1]、[^2]、[^3]。既然用户提供了引用，我应该自然地融入它们。 回答结构： - 开头介绍YARN。 - 然后列出几个面试题，每个有问答格式。 - 答案解析要详细。 - 结束时生成相关问题。 使用中文回答。 最终大纲： 1. 介绍YARN。 2. 面试题1：描述。 - 答案。 3. 面试题2：描述。 - 答案。 4. 以此类推。 5. 相关问题部分。 目标：提供5-6个常见面试题。</think>### YARN 常见面试题及其答案解析 YARN（Yet Another Resource Negotiator）是 Apache Hadoop 生态系统中的核心资源管理框架，负责集群资源的管理和作业调度。它允许在分布式环境中高效运行多种应用程序（如 MapReduce、Spark）。以下我将基于常见面试需求，列出几个典型的 YARN 面试题，并提供详细的答案解析。每个答案都结合了实际工作原理和最佳实践，确保真实可靠。在回答中，我会自然地融入相关引用信息以支持解释。 #### 1. **YARN 是什么？它的主要作用是什么？** - **问题描述**：面试官常会先问 YARN 的基本概念，以测试候选人对 Hadoop 生态系统的理解。 - **答案解析**： YARN 是一个分布式资源管理系统，它将 Hadoop 的资源管理功能从 MapReduce 中分离出来，实现更灵活的集群资源分配。其主要作用包括： - **资源管理**：统一管理集群的 CPU、内存等资源，避免资源冲突。 - **作业调度**：支持多种应用程序（如批处理、实时计算）在同一个集群上运行，通过调度器优化资源分配。 - **可扩展性**：允许动态添加或移除节点，适用于大规模数据处理。 YARN 的核心优势是解耦资源管理和计算框架，提升了 Hadoop 的通用性和效率[^2]。引用[3]提到 Hadoop 是一个开源框架，YARN 是其关键组件，用于处理分布式数据和资源[^3]。 #### 2. **YARN 的架构包含哪些主要组件？** - **问题描述**：面试官会考察候选人对 YARN 内部架构的掌握程度。 - **答案解析**： YARN 采用主从架构，包含三个核心组件： - **ResourceManager (RM)**：主节点组件，负责全局资源调度和分配。它处理客户端提交的应用程序请求，并将资源分配给各个 ApplicationMaster。 - **NodeManager (NM)**：从节点组件，部署在每个集群节点上，负责监控本节点的资源使用（如 CPU、内存），并启动和管理 Container。 - **ApplicationMaster (AM)**：每个应用程序独有的组件，负责协调应用程序的执行，包括向 RM 申请资源、监控任务进度和处理失败。 这些组件协同工作：RM 接收作业请求后，启动 AM；AM 向 RM 申请资源，并在 NM 上创建 Container 来运行任务。这种架构提高了资源利用率和系统灵活性[^2]。 #### 3. **YARN 如何运行一个应用程序？请描述其步骤。** - **问题描述**：面试中常要求解释 YARN 的工作流程，以测试实际操作理解。 - **答案解析**： YARN 运行应用程序分为两个主要阶段（如引用[2]所述），具体步骤如下： 1. **启动 ApplicationMaster**：客户端提交应用程序后，ResourceManager 分配一个 Container 来启动 ApplicationMaster（AM）。AM 负责该应用程序的整个生命周期。 2. **AM 创建应用程序**：AM 向 ResourceManager 申请资源（例如，指定需要的 Container 数量和资源大小），ResourceManager 根据调度策略分配资源。然后，AM 与 NodeManager 通信，在分配的 Container 中启动任务（如 Map 或 Reduce 任务）。 - 整个过程包括资源请求、分配、任务执行和监控。例如，如果任务失败，AM 会重新申请资源重新运行。YARN 的这种设计确保了高可用性和容错性[^2]。引用[2]强调了这个两阶段模型的关键作用[^2]。 #### 4. **在 YARN 中，Container 是什么？运行在 YARN 中的 Application 有几种类型的 Container？** - **问题描述**：Container 是 YARN 资源分配的基本单位，面试官会问其类型和作用。 - **答案解析**： Container 是 YARN 中资源分配的抽象单元，代表集群资源（如 CPU 核心和内存）的封装。运行在 YARN 中的 Application 主要涉及两种类型的 Container： - **ApplicationMaster Container**：用于运行 ApplicationMaster（AM），它是应用程序的“大脑”，负责协调任务。通常，每个应用程序有一个 AM Container。 - **任务 Container**：用于运行应用程序的实际任务（如 Map 或 Reduce 任务）。每个任务 Container 由 AM 申请并管理，任务完成后资源被释放。 - Container 的类型由资源请求指定，例如，AM Container 可能申请更多资源以处理协调工作。引用[1]提到“运行在 YARN 中的 Application 有几种类型的 container”，这直接对应面试高频点[^1]。Container 的生命周期由 NodeManager 监控，确保资源高效利用。 #### 5. **YARN 的调度器有哪些？说明其工作原理。** - **问题描述**：调度器是 YARN 的核心，面试官会考察候选人对不同调度策略的理解。 - **答案解析**： YARN 提供多种调度器，以适应不同场景的资源分配需求。主要调度器包括： - **FIFO Scheduler**：先进先出调度器，按作业提交顺序分配资源。简单但可能导致小作业被大作业阻塞。 - **Capacity Scheduler**：容量调度器，将集群资源划分为多个队列（如生产队列和测试队列），每个队列有最小资源保证。它支持多租户环境，优先满足队列的最小容量，剩余资源可共享。 - **Fair Scheduler**：公平调度器，动态平衡资源分配，确保所有作业在长时间内获得公平份额。例如，新提交的小作业能快速获得资源，避免饥饿。 - 工作原理：ResourceManager 根据调度策略，处理 AM 的资源请求。例如，Capacity Scheduler 会检查队列配额，而 Fair Scheduler 基于权重调整分配。调度器优化了集群吞吐和响应时间。引用[1]提到“调度器工作原理”是常见面试点[^1]。 #### 6. **Executor 启动时，资源通过哪几个参数指定？这可能导致哪些问题？** - **问题描述**：在 Spark 等框架中，Executor 运行在 YARN Container 中，面试官会问资源参数配置及其潜在影响。 - **答案解析**： 在 YARN 上，Executor 的资源通过以下参数指定： - **`--executor-memory`**：设置每个 Executor 的内存大小（如 `4g`）。 - **`--executor-cores`**：指定每个 Executor 使用的 CPU 核心数（如 `2`）。 - **`--num-executors`**：定义应用程序启动的 Executor 总数。 - 这些参数在提交作业时通过命令行或配置文件设置，YARN 根据这些请求分配 Container。 **可能导致的问题**：如果资源分配不当（如内存设置过高），可能引发： - **Executor FULL GC**：频繁的 Full Garbage Collection，导致任务停顿或超时，影响性能。 - **资源浪费或不足**：过高设置浪费集群资源；过低则导致 OOM（OutOfMemoryError）错误。 - 引用[1]指出“Executor启动时，资源通过哪几个参数指定”和“导致Executor产生FULL gc 的原因”是高频面试题[^1]。优化建议包括监控资源使用和调整参数。 ### 总结 以上面试题覆盖了 YARN 的核心概念、架构、工作流程和常见问题，答案基于 Hadoop 官方文档和实际应用场景，确保真实可靠。YARN 作为分布式资源管理的基石，在面试中常结合具体框架（如 Spark）进行提问。建议在准备时多实践集群配置和故障排查。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值