Yarn入门详解

最新推荐文章于 2025-04-16 16:05:02 发布
最新推荐文章于 2025-04-16 16:05:02 发布
阅读量1.9k 收藏 12
点赞数 4
文章标签： 大数据 hadoop yarn 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46167274/article/details/117293251
版权
Yarn是Hadoop2.0的资源管理系统，负责集群资源统一管理和分配。它包含ResourceManager、NodeManager和ApplicationMaster三个组件。ResourceManager的Scheduler负责应用的资源分配，提供FIFO、Capacity和Fair Scheduler策略。NodeManager管理节点资源，ApplicationMaster协调任务执行。Yarn运行流程包括Client提交Job、ApplicationMaster注册、任务分配和执行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Yarn入门详解

一、Yarn概述

Yarn是Hadoop2.0版本引入的集群资源管理系统，直接从MR1演化而来。
在这里插入图片描述我们可以从上图看出Hadoop2.x可以支持其他的分布式计算框架，在引入Yarn的Hadoop2.x之后同一套硬件集群中可以运行多个任务，例如：MR、Spark任务等

Yarn包含三个组件：

  • ResourceManager（RM）：资源管理
  • NodeManager（NM）：相当于1.0中的TaskTracker的角色，接收来自RM的请求，分配Container的资源，通过心跳汇报给RM，并且管理节点内部的资源利用情况
  • ApplicationMaster（AM）：任务调度

严格意义上来说，Yarn只包含两个组件，ResourceManager以及NodeManager。而ApplicationMaster只是一个Yarn的客户端

Yarn将MR1中的JobTracker的资源管理和任务调度做了权力肢解，分别由ResourceManager和ApplicationMaster进程来实现

二、Yarn架构组件详解

最低0.47元/天 解锁文章
林_恩国
关注
Yarn详解
llLucky_BOY_的博客
03-17 704
Yarn定义 Yarn是一个负责资源调度和任务管理的资源调度平台，它相当于电脑的操作系统，而MapReduce相当于在yarn上运行的应用程序 Yarn基本框架 Yarn主要由RecourceManager，NodeManager，ApplicationMaster，Container等组件构成 Yarn的框架图： 首先客户端向ResourceManager提交作业， ReduceManager会在相对空闲的DataNode上启动一个AppMaster（它相当于此次作业的代理人）， AppMaster会将
yarn详解
weixin_39033058的博客
06-27 992
Yarn 资源协调器 类似hdfs，主从模式 一个resourcemanager rm 和多个nodemanager nm 组成 从节点每隔一秒，向主节点发送心跳，从节点会监控所在节点的资源使用情况 rm会追踪nm的存活情况 客户端向yarn提交应用，rm为应用或任务定位资源 可以开启jobhistorymaster，记录mr任务详细日志 timeline serve 可以对jobhistorymaster做补充 第一步，客户端提交任务到rm，rm返回一个 第二步，每个应用都有一个Ap
一分钟教你学会Yarn
最新发布
2401_87129116的博客
04-16 859
通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源， 这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。队列内部又可以垂直划分，这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。但是实际中，资源是有限的，并且在繁忙的群集上， 应用程序通常将需要等待其某些请求得到满足。现在，如果B用户在其他作业仍在运行时开始第二个作业，它将与B的另一个作业共享其资源，因此B的每个作业将拥有资源的四分之一，而A的继续将拥有一半的资源。
YARN 详解
guanqingqing_的博客
06-17 1278
YARNyarn当中的各个主要组件的介绍yarn当中各个主要组件的作用yarn当中的调度器YARN资源调度步骤YARN的基本组成结构（组件）： yarn当中的各个主要组件的介绍 ResourceManager：yarn集群的主节点，主要用于接收客户端提交的任务，并对任务进行分配。 NodeManager：yarn集群的从节点，主要用于任务的计算 ApplicationMaster：当有新的任务提交...
YARN详解
早拾碗吧的博客
04-30 2073
YARN是第二代MapReduce,即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的;通俗讲就是资源管理器.将 MR1 中资源管理和作业调度两个功能分开,分别由 ResourceManager 和 ApplicationMaster 进程来实现。ResourceManager : 负责整个集群的资源管理和调度。
YARN入门指南：架构与实战详解
"YARN Essentials" 是一本针对想要深入了解 YARN（Yet Another Resource Negotiator）的初学者设计的指南，旨在提供一个简明且实用的入门教程。该书深入探讨了 YARN 在 Hadoop 体系中的角色以及它如何作为现代分布式...
React应用入门与构建指南：yarn脚本详解
### Create React App入门 Create React App 是一个用于设置现代React单页应用程序的流行脚手架工具。它提供了一个简化开发的流程，并且自动配置了项目，使得开发者可以专注于编写应用代码而不是配置开发环境。 - ...
React应用入门与构建：yarn命令详解与TypeScript实践
- 在项目根目录下，通过运行`yarn start`命令启动开发模式下的应用程序。 - 开发模式下，任何对源代码的更改都会触发页面的重新加载，并在控制台中显示lint错误。 - 运行`yarn test`命令可以在交互式监视模式下...
YARN架构详解：资源管理与作业调度分离
YARN（Yet Another Resource Negotiator）是Apache Hadoop项目中的下一代分布式资源管理和调度系统，旨在解决MapReduce在大型集群中面临的单点故障、性能瓶颈以及对新计算框架支持不足的问题。MapReduce中的...
yarn架构与讲解
04-25
yarn架构详解，关于大数据yarn资源调度的详解
Yarn
测试
12-19 1129
Yarn的基本介绍和模式： YARN的介绍Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YA...
yarn入门（一篇就够了）
阿甘兄
07-07 2411
是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如下图： ResourceManager（RM）主要的作用如下：NodeManager（NM）主要作用如下：ApplicationMaster（AM）作用如下：Container是yarn中的资源抽象，它封装了某个节点上的
HADOOP之YARN详解
freellf的专栏
05-07 1777
第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成。其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。对应Hadoop版本为Hadoop 1.x, 和0.21.x, 0.22.x。为克服Hadoop 1.0中的HDFS和MapReduce存在的各种问题而提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARM。
yarn详细入门教程
bihansheng2010的博客
04-16 683
简介 Yarn 是 Facebook, Google, Exponent 和 Tilde 开发的一款新的 JavaScript 包管理工具。就像我们可以从官方文档了解那样，它的目的是解决这些团队使用 npm 面临的少数问题，即： 1.安装的时候无法保证速度/一致性 2.安全问题，因为 npm 安装时允许运行代码 1 2 Yarn 同样是一个从 npm 注册源获取模块的新的 CLI 客户端。注册的...
Yarn基础入门
热门推荐
lydms的博客
10-13 1万+
那么在YARN中，我们用DRF来决定如何调度：假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。
Hadoop on Yarn 各组件详细原理
weixin_34194702的博客
06-09 241
　　运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心，构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 　　ResourceManager提供应用程序的调度，每个应用程序由一个ApplicationMaster管理，以Container的形式请求每个任务的计算资源。Container由...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值