YARN的基本架构和运行原理

最新推荐文章于 2025-05-25 09:16:39 发布
最新推荐文章于 2025-05-25 09:16:39 发布
阅读量2.5k 收藏 3
点赞数
CC 4.0 BY-SA版权
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40333693/article/details/108599431
YARN是Hadoop2.x版本引入的资源管理系统，解决了Hadoop1.x中资源管理和任务调度的问题。它将资源管理和调度分离，提供统一的资源管理，支持多种应用。YARN的核心组件包括ResourceManager、NodeManager、ApplicationMaster和Container。ResourceManager负责全局资源管理，NodeManager管理节点资源，ApplicationMaster管理应用程序，Container作为资源抽象执行任务。YARN的调度器有FIFO、Capacity Scheduler和Fair Scheduler，默认是Fair Scheduler。要终止任务，可以通过命令或在Web UI操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

YARN

Hadoop1.x版本中最大的问题是资源问题
对数据的处理和资源调度主要依赖MapReduce完成，只能运行MapReduce程序
JobTracker负责资源管理和程序调度，压力较大
Hadoop2.x版本添加YARN
主要负责集群资源管理

YARN概述

YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离
通用的资源管理系统，可为不同的应用（MapReduce、Spark、Flink等）提供统一的资源管理和调度
它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

YARN的基本架构核心组件

YARN的架构是master/slaves的主从架构
master：ResourceManager->全局资源管理
负责集群全局统一的资源管理、调度、分配
slave：NodeMannager->结点资源管理器
启动了NodeManager进程的节点
负责管理节点的资源及使用情况
YARN核心组件（包含ResourceManager和NodeManager）
ApplicationMaster
Container
在这里插入图片描述

YARN架构核心组件-ResouceManager

ResourceManager组成
ResourceScheduler->资源调度器，根据节点的容量、队列情况

最低0.47元/天 解锁文章

200万优质内容无限畅学
jalrs
关注
开源组件系列（9）：资源管理与调度系统（YARN）
晓阳的数据小站
03-09 1601
目录 （一）概述 （二）YARN基本架构 （三）YARN高可用性 （四）YARN工作流程 （五）YARN资源调度器 （六）YARN的具体调度场景 （七）YARN资源隔离 （八）YARN生态系统 （九）资源管理系统架构演化 （一）概述 YARN作为一个通用的资源管理系统，目标是将短期作业和长期服务混合部署到一个集群中，并为它们提供统一的资源管理和调度功能。YARN是大数据...
YARN基本架构原理详解
蔡政洁的博客
06-22 6331
目录一、概念理解二、YARN的架构（1）ResourceManager（2）ApplicationMaster（3）NodeManager三、Yarn基本流程四、一个job运行处理的整体流程五、Yarn调度器Scheduler六、YARN的HA架构 一、概念理解 Apache Hadoop YARN（Yet Another Resource Negotiator,另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统
分布式资源调度框架YARN
子清的博客
09-15 416
文章目录1.YARN的前世今生2.YARN概述3.YARN的基本架构核心组件3.1ResouceManager3.2NodeManager3.3ApplicationMaster3.4Container4. YARN的工作机制5.启动JobHistoryServer6.YARN的资源调度器7.YARN常用命令 1.YARN的前世今生 Hadoop1.x版本中最大的问题是资源问题 对数据的处理和资源调度主要依赖MapReduce完成，只能运行MapReduce程序 JobTracker负责资源管理和程序调
YARN架构与组件分析
最新发布
weixin_45422672的博客
05-25 747
例如，在一个混合了批处理、交互式查询和实时流处理的大数据平台中，YARN可以根据不同工作负载的特点，动态分配资源，确保各类应用都能获得足够的计算资源。YARN作为Hadoop的资源管理系统，其架构设计不仅解决了Hadoop 1.0中的可扩展性问题，还为大数据生态系统提供了统一的资源管理平台，推动了大数据技术的创新发展。当RM或AM需要在某个节点上启动任务时，会与该节点的NM通信，NM负责在本地创建和管理容器，确保任务在隔离的环境中运行。AM本身是一个运行在容器中的进程，由RM分配的初始容器启动。
YARN（资源调度框架）
longshuo1995的博客
05-10 364
资源调度框架YARN简述
fort110的博客
02-19 663
YARN的产生背景（通俗讲就是需要在不同时间使用不同的工具来处理数据，需要一个工具来调度，这个工具就是yarn）：YARN的架构：重要的组件介绍：1）resource manager（RM）：整个集群同一时间提供服务的RM只有一个（公司中会有一个备用的），负责集群资源的统一管理处理客户端（client）的请求：提交一个作业、杀死一个作业监控NM，一旦NM节点挂掉，上面运行的任务如何处理要告诉AM来...
YARN框架原理及运行机制
02-24
YARN总体上仍然是Master/Slaver结构，在整个资源管理框架中，RM为Master，NM为Slaver，RM负责对各个NM上的资源进行统一管理和调度。当提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的AM，它负责向RM申请...
YARN 架构组件及原理
金州饿霸吃不饱的博客
01-09 625
YARN（Yet Another Resource Negotiator，另一种资源协调者） 是 Hadoop 2.0 中的资源管理系统，它的基本设计思想是。其中 ResourceManager 负责整个系统的资源管理和分配，而 ApplicationMaster负责单个应用程序的管理。一个全局的资源管理器 ResourceManager 和每个应用程序特有的ApplicationMaster。
资源调度管理器
张不帅
11-09 1125
Hadoop的作业调度器主要有三种:FIFO ,Capacity Scheduler 和Fair Scheduler 2.7.2版本默认是Capacity Scheduler 配置yarn-default.xml文件 <property> <description>The class to use as the resource scheduler.</descr...
从零学习Yarn—Hadoop生态圈（三）
wsjslient的博客
12-06 346
Yarn目录一、Yarn基本架构1.ResourceManager1.1 主要功能1.2 核心组成2.NodeManager3.ApplicationMaster4.Container 一、Yarn基本架构         Yarn主要由 ResourceManager、 NodeManager、 ApplicationMaster和 Container等组件构成。 1.ResourceManager  &nbsp
Hadoop--分布式调度平台YARN--YARN集群搭建
大魔王
02-22 465
Yarn是Hadoop提供的自动化调度平台，可以实现MapReduce计算任务的自动化调度。 yarn是一个分布式程序的运行调度平台。 yarn中有两大核心角色： Resource Manager 接受用户提交的分布式计算程序，并为其划分资源 管理、监控各个Node Manager上的资源情况，以便于均衡负载 Node Manager 管理它所在机器的运算资源（cpu + 内存） ...
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
weixin_46838716的博客
06-02 716
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
资源调度框架YARN
qq_14814971的博客
08-02 701
hadoop1.x中MapReduce存在的问题：1.单点2.节点压力大YARN：Yet Another Resource Negotiator(另外一种资源协调者) 是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度。 它的引入为集群在利用率，资源统一管理和数据共享等方面带来了巨大的好处YARN架构： 核心组件： ResourceManager NodeMan
大数据（hadoop-分布式搭建和yarn）
06-12 203
分布式搭建步骤 1：克隆一台机器完成后，按以下步骤进行修改（作为源克隆主机） 1）修改网卡信息，路径/etc/sysconfig/network-scripts 2）删除70-persistent-net.rules这个文件，路径在：/etc/udev/rules.d ...
yarn相关常见知识点
L13763338360的博客
09-15 1063
1. YARN架构 1.1 ResourceManager 整个集群资源的主要协调者和管理者，负责给用户提交的所有应用程序分配资源。 1.2 NodeManager 每个节点的管理者，主要负责该节点内所有容器的生命周期管理，监视资源和跟踪节点健康。 1.3 ApplicationMaster 在用户提交一个应用程序时，yarn会启动一个轻量级的进程ApplicationMaster负责协调来自RM的资源，通过NM监视容器内资源的使用情况。...
YARN的体系结构
happy19870612's blog
11-19 3445
YARN主要是对hadoop集群资源进行管理。跟HDFS一样，他也是基于Master/Slave　主从架构，主要包括ResourceManager，NodeManager，ApplicationMaster。 Master是ResourceManager：负责所有资源的监控，分配和管理。接收来自各个NodeManager的资源汇报信息，并把这些信息按照一定策略分配各个应用程序。它主要是由2个组件
Yarn资源调度
qq_15083919的博客
09-22 357
目录 1、web界面查看 2、Yarn介绍 3、Yarn的主要组件介绍与作用 3.1、yarn当中的各个主要组件的介绍 3.2、yarn当中各个主要组件的作用 resourceManager主要作用 NodeManager主要作用 ApplicationMaster主要作用 Container主要作用 3.3、yarn的架构 3.4、yarn当中的调度器 3.5、yarn常用参数设置 1、web界面查看 yarn集群的监控管理界面： http://192.168.52.100
大数据开发笔记（二）：Yarn分布式集群操作系统
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-20 3005
Yarn分布式集群操作系统 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式，不单单是MapReduce模式。Hadoop2.0 的YARN 架构提供了更多的处理框架，不再强迫使用MapReduce框架。 Yarn定位： 分布式集群操作系统 1、资源管理和调度 2、支持多个不同计算框架 3、Mapreduce框架彻底重...
深入解读Hadoop YARN架构设计与实现原理
Hadoop技术内幕深入解析YARN架构设计与实现原理PDF是深入了解YARN架构设计原理和实际应用场景的宝贵资源，对于希望掌握大数据处理技术的专业人士来说，是一本不可或缺的学习资料。由于该文件不可用于商业用途，用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值