分布式资源调度框架YARN

最新推荐文章于 2024-07-25 09:11:28 发布
原创 最新推荐文章于 2024-07-25 09:11:28 发布 · 159 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #yarn

本文详细介绍了YARN作为Hadoop 2.x的资源管理系统，其核心思想是将资源管理和任务调度分离，提供统一资源管理和调度。内容涵盖YARN的基本架构、核心组件，包括ResourceManager和NodeManager，以及ApplicationMaster和Container的角色。此外，还阐述了YARN的工作机制、MapReduce在YARN上的提交过程、JobHistoryServer的启动和资源调度器的类型。最后，列举了一些常用的YARN管理命令。

分布式资源调度框架YARN

YARN概述

YARN是hadoop2.X版本引入的集群资源管理系统
YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离

  • 通用的资源管理系统，可为不同的应用（MapReduce、Spark、Flink等）提供统一的资源管理和调度
  • 它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

YARN的基本架构核心组件

  1. YARN的架构是master/slaves的主从架构
  • master:ResourceManager–>全局资源管理
     负责集群全局统一的资源管理、调度、分配
  • slave:NodeManager–>节点资源管理器
      启动了NodeManager进程的节点
      负责管理节点的资源及使用情况
  1. YARN核心组件（包含ResourceManager和NodeManager）
    ApplicationMaster
    Container

YARN架构核心组件-ResouceManager

  1. ResourceManager组成
  • ResourceScheduler–>资源调度器，根据节点的容量、队列情况，为应用程序分配资源
  • Application Manager–>应用程序管理器，负责接受Client端传输的job请求
  1. ResourceManager功能
  • 处理客户端请求
  • 监控NodeManager
  • 启动和监控ApplicationMaster，进行必要的重启
  • 整个系统的资源分配和调度
  1. NodeManager功能
  • 本节点上的资源管理和任务管理
  • 定时向ResourceManager汇报本节点上的资源使用情况和各个Container的运行情况
  • 接收和处理来自ResourceManager的Container启动和停止的各种命令
  • 处理来自ApplicationMaster的指令，比如启动MapTask和ReduceTask指令
  1. ApplicationMaster功能
  • 每个应用程序对应一个ApplicationMaster，负责单个应用程序的管理
  • 负责数据切分
  • 为应用程序向ResourceManager申请资源(Container)，并分配内部任务（MapTask和ReduceTask）
  • 与NodeManager通信来启动/停止任务，Task都是运行在Container中的
  • 负责任务的监控和容错，当某些Task运行出错，进行容错处理
  1. Container是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等
  • Container类似于java中的类，可以里面的方法

YARN的工作机制

在这里插入图片描述

YARN上提交MapReduce程序

运行框架自带的MapReduce程序

  • Jar位置
    $HADOOP_HOME/share/hadoop/mapreduce
  • Jar名称
    hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar
  • 执行wordCount
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /user/data  /user/out

使用YARN WebUI查看任务执行情况

  • YARN整体资源情况
  • Mapper运行情况详细信息
  • Reducer运行情况详细信息
  • 任务历史信息

启动JobHistoryServer

  1. JobHistoryServer：作业历史服务
  • 记录在yarn中调度的作业历史运行情况情况
  1. 启动JobHistoryServer
  • 命令位置
    $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh
  • 启动命令（集群中每台都执行）
    mr-jobhistory-daemon.sh start historyserver
  • 验证
    jps查看进程，存在JobHistoryServer进程证明启动成功

YARN的资源调度器

  1. 目前Hadoop作业调度器有三种
  • FIFO：先进先出调度器
  • Capacity Scheduler：容量调度器
  • Fair Scheduler：公平调度器
  1. 默认的作业调度器可以在yarn-default.xml文件中查看，属性如下
  • yarn.resourcemanager.scheduler.class
  • Hadoop版本2.6.0-cdh5.14.2的默认调度器是公平调度器

YARN常用命令

  1. 任务管理
  • 查看正在运行的任务
    yarn application -list
  • 杀掉正在运行的任务
    yarn application -kill 任务id
  1. 节点管理
  • 查看节点列表
    yarn node -list
  • 查看节点状态
    yarn node -status 节点ID
开源组件系列（9）：资源管理与调度系统（YARN）
晓阳的数据小站
03-09 1648
目录 （一）概述 （二）YARN基本架构 （三）YARN高可用性 （四）YARN工作流程 （五）YARN资源调度器 （六）YARN的具体调度场景 （七）YARN资源隔离 （八）YARN生态系统 （九）资源管理系统架构演化 （一）概述 YARN作为一个通用的资源管理系统，目标是将短期作业和长期服务混合部署到一个集群中，并为它们提供统一的资源管理和调度功能。YARN是大数据...
Yarn详解
热门推荐
梓纾的专栏
12-31 1万+
1. Yarn架构1.1 简介1.1.1 架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResourceManager负责对各个NodeManager
YARN（资源调度框架）
longshuo1995的博客
05-10 386
精选资源
分布式资源调度——YARN框架
03-01
我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：分布式资源调度——YARN框架可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多...
分布式资源调度—YARN框架
sanmi8276的博客
02-12 909
原文作者：子墨言良 原文地址：YARN的架构及原理 目录 一、YARN产生背景 二、什么是YARN 三、YARN的基本架构 四、YARN的原理 五、MapReduce on YARN 六、YARN HA（高可用） 一、YARN产生背景 MapReduce本身存在着一些问题： JobTracker单点故障问题：如果Hadoop集群的JobTracker挂掉，则整个分布式集群都不能使用了。 JobTracker承受的访问压力大，影响系统的扩展性。 不支持MapReduce之外的计..
YARN分布式资源调度框架
xinxinyydss的博客
12-06 536
（9）在104上启动historyserver：mr-jobhistory-daemon.sh start historyserver，通过jps检查。在104上停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止resourcemanager：yarn-daemon.sh stop resourcemanager。
Yarn（分布式资源管理框架）
最新发布
2302_76694571的博客
07-25 1008
容量调度器是一种较为传统的调度策略，它提供了一种分层队列的资源管理方式，允许管理员预定义队列结构并为每个队列分配资源容量。Capacity Scheduler 支持队列间的资源隔离，并且可以为不同的队列设置不同的调度策略，如 FIFO、Fair 或者其他自定义策略。这种策略的优点在于能够保证长期运行的任务获得稳定的资源供应，但缺点是在资源紧张时可能会限制新任务的执行。
资源调度框架YARN简述
fort110的博客
02-19 683
YARN的产生背景（通俗讲就是需要在不同时间使用不同的工具来处理数据，需要一个工具来调度，这个工具就是yarn）：YARN的架构：重要的组件介绍：1）resource manager（RM）：整个集群同一时间提供服务的RM只有一个（公司中会有一个备用的），负责集群资源的统一管理处理客户端（client）的请求：提交一个作业、杀死一个作业监控NM，一旦NM节点挂掉，上面运行的任务如何处理要告诉AM来...
资源调度管理器
张不帅
11-09 1233
Hadoop的作业调度器主要有三种:FIFO ,Capacity Scheduler 和Fair Scheduler 2.7.2版本默认是Capacity Scheduler 配置yarn-default.xml文件 <property> <description>The class to use as the resource scheduler.</descr...
从零学习Yarn—Hadoop生态圈（三）
wsjslient的博客
12-06 381
Yarn目录一、Yarn基本架构1.ResourceManager1.1 主要功能1.2 核心组成2.NodeManager3.ApplicationMaster4.Container 一、Yarn基本架构         Yarn主要由 ResourceManager、 NodeManager、 ApplicationMaster和 Container等组件构成。 1.ResourceManager  &nbsp
Hadoop--分布式调度平台YARN--YARN集群搭建
大魔王
02-22 482
Yarn是Hadoop提供的自动化调度平台，可以实现MapReduce计算任务的自动化调度。 yarn是一个分布式程序的运行调度平台。 yarn中有两大核心角色： Resource Manager 接受用户提交的分布式计算程序，并为其划分资源 管理、监控各个Node Manager上的资源情况，以便于均衡负载 Node Manager 管理它所在机器的运算资源（cpu + 内存） ...
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
weixin_46838716的博客
06-02 760
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
资源调度框架YARN
qq_14814971的博客
08-02 717
hadoop1.x中MapReduce存在的问题：1.单点2.节点压力大YARN：Yet Another Resource Negotiator(另外一种资源协调者) 是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度。 它的引入为集群在利用率，资源统一管理和数据共享等方面带来了巨大的好处YARN架构： 核心组件： ResourceManager NodeMan
大数据（hadoop-分布式搭建和yarn）
06-12 218
分布式搭建步骤 1：克隆一台机器完成后，按以下步骤进行修改（作为源克隆主机） 1）修改网卡信息，路径/etc/sysconfig/network-scripts 2）删除70-persistent-net.rules这个文件，路径在：/etc/udev/rules.d ...
yarn 架构组件功能详解
u012957549的博客
01-26 3666
一.YARN服务组件 YARN 总体上仍是Master/Slave 结构 在整个资源管理框架中ResourceManager 为master ,NodeManager 为Slave 。 ResourceManager 负责 对各个NodeManager 上的资源进行同一的管理和调度 当用户提交一个应用程序时，需要一个用以跟踪和管理这个程序的服务 ApplicationMaster 它负责向Res...
【Yarn】Yarn资源调度系统
小哲的博客
08-21 1651
Yarn资源调度系统
yarn相关常见知识点
L13763338360的博客
09-15 1092
1. YARN架构 1.1 ResourceManager 整个集群资源的主要协调者和管理者，负责给用户提交的所有应用程序分配资源。 1.2 NodeManager 每个节点的管理者，主要负责该节点内所有容器的生命周期管理，监视资源和跟踪节点健康。 1.3 ApplicationMaster 在用户提交一个应用程序时，yarn会启动一个轻量级的进程ApplicationMaster负责协调来自RM的资源，通过NM监视容器内资源的使用情况。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值