spark10--资源调度模式, yarn的任务调度流程

最新推荐文章于 2025-05-18 19:56:50 发布
最新推荐文章于 2025-05-18 19:56:50 发布
阅读量718 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： 资源调度 yarn 任务提交
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/forever428/article/details/86289966
本文深入探讨了Spark在不同资源调度模式下的表现，包括local、standalone、spark-on-yarn、mesos等，分析了每种模式的特点及适用场景。特别强调了spark-on-yarn模式在企业级应用中的优势，如统一资源管理和简化运维工作。同时，详细讲解了YARN的任务调度流程，从客户端提交任务到APPmaster回收的全过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

资源调度模式

Spark runs on Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud.

  1. local 模式(本地模式)
  2. standalone 模式
  3. spark-on-yarn 模式
  4. mesos模式
  5. decker
  6. cloud
  7. …
  • 用哪种资源调度模式比较好?
    • 需要通过公司需求和运行速度来综合 衡量
  • 哪种资源调度模式比较快
    • standalone模式
  • 为什么很多企业在用spark-on-yarn模式
    • 考虑到尽量用一个统一的资源调度模式来运行多种任务, 这样可以减轻运维的工作压力, 同时也可以减少资源调度之间的配合(基于集群考虑)

yarn的任务调度流程

  1. client向resourcemanager注册并提交任务, 在resourcemanager生成任务信息
  2. resourcemanager和datamanager进行通信, 寻找一个资源较多的节点启动一个APPmaster, 用来负责当前任务的调度
  3. APPmaster启动后向resourcemanager申请资源
  4. applicationManager开始资源调度, 开始通知nodeManager启动一个yarnchild进程
  5. yarnChild开始和APPmaster进行通信, APPmaster对所有yarnChild进行监控
  6. MR执行完以后, yarnChild被APPmaster回收, APPmaster把自己回收掉
YARN的作业提交机制
qq_36770189的博客
08-29 658
Yarn的工作原理见https://blog.youkuaiyun.com/qq_36770189/article/details/100131123 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Cli...
Spark -- 资源申请和任务调度
加油
10-25 329
5、Executor 进程启动后会向 AM（Driver）反向注册，Executor 全部注册完成后，开始执行执行 Job 任务 AM中的 SparkContext 分配 Task 给 Executor 执行，Executor 运行 Task 并向AM（Driver）汇报运行状态、进度、以及最终结果；1、指的是如果当前的Task的运行速度缓慢，此时TaskSchedule就会在比较空闲的Executor上启动一个相同的Task来执行这个任务，当两个Task谁先结束，先出来的结果就作为最终的计算结果。
YARN资源调度
小城我家
10-16 317
YARN架构 ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度； NodeManager(nm)：单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令； ApplicationMaster(am)：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。 Container：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、
Yarn的调度流程
最新发布
2401_83310566的博客
05-18 322
resourcemanager 负责整个集群的资源管理和分配，是一个全局的资源管理系统，一个集群只有一个。ApplicationMaster启动后，会向ResourceManager注册，并请求必要的资源。任务完成后，ApplicationMaster会向ResourceManager注销并关闭自己。ResourceManager根据调度策略分配资源给ApplicationMaster。所谓的调度器指的是当集群繁忙的时候 如何给申请资源的程序分配资源。主角色 resourcemanager RM。
分布式资源管理与任务调度框架yarn的运行流程
classics_moon的博客
12-23 498
1)用户向 YARN 中提交应用程序/作业，其中包括 ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。 2)ResourceManager 为作业分配第一个 Container，并与对应的NodeManager 通信，要求它在这个 Container 中启动该作业的 ApplicationMaster。 3)NodeManager 启动一个 C...
Hadoop-Yarn介绍
Peasmaster的博客
01-02 586
Yarn的架构设计 ResourceManager (RM) ： 负责对各NM上的资源进行统一管理和调度。 将AM分配空闲的Container运行并监控其运行状态。 对AM申请的资源请求分配相应的空闲Container。 主要由两个组件构成： 调度器和应用程序管理器。 调度器 (Scheduler)： 调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作
Yarn 资源调度流程
l567891011的博客
06-27 277
作业提交阶段 01 作业初始化阶段 02任务分配阶段 03任务运行阶段 04作业完成阶段 05
Spark中Yarn资源调度与任务调度详解
2301_77702743的博客
09-26 1316
1）Application：基于spark的应用程序，包含了Driver程序和集群上的Executor2）Executor：是在一个WorkNode上为某应用启动的一个进程，该进程负责运行任务，并且将数据存储在内存或者磁盘上。每一个应用都有各自独立的Executors3）Task：是一个线程对象，是被送到某个Executor上的执行单元4）DriverProgram：运行main函数并新建SparkContext的程序5）ClusterManager：在集群上获取资源的外部服务。
Spark-client，Spark-yarn模式
pxqwater的博客
03-04 1412
Spark运行模式
spark资源 spark-2.3.2-bin-hadoop2.7 tgz文件
10-21
这意味着Spark能够利用Hadoop的存储能力，并在YARN上进行资源调度和管理。 由于Hadoop版本的兼容性，用户可以期待Spark 2.3.2能够无缝地集成到基于Hadoop的生态系统中，并与Hadoop的各种组件协同工作。同时，该...
YARN详细调度流程
CLKTOY的博客
10-11 2104
文章目录yarn概述一、yarn的重要概念二、yarn资源调度全流程1.流程图2.详细流程总结 yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。 一、yarn的重要概念 yarn并不清楚用户提交的程序的运行机制。 yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）。 yarn中的主管角色叫ResourceManager。 yarn中具体提供运算
yarn的资源调度
weixin_30700099的博客
08-29 233
客户端将它的程序提交给Yarn。 RM会给客户端返回一个jobid以及一个路径。 客户端会将对应的程序信息（jar包、切片信息、序列化文件）提交到对应的路径下。 提交完以后给RM返回一个确认。 RM就会在存放提交信息的那台NodeManager上创建出来一个容器。启动我们的ApplicationMaster。 ApplicationMaster会跟提交的切片信息和程序向...
YARN架构的工作流程和调度机制总结
Peter_Changyb的博客
11-19 652
YARN 是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）. 1).ResourceManager 负责所有资源的监控、分配和管理； 2).ApplicationMaster 负责每一个具体应用程序的调度和协调； 3).NodeManager 负责每一个节点的维护。对于所有...
Yarn的架构和概念--通过Yarn调度job的完整执行流程
zhangshk_的博客
12-24 1312
Hadoop1.X版本中 通过JobTracker进行任务的调度和监控，以及集群资源的管理。TaskTracker用于在在节点上执行map reduce任务。 Yarn把JobTracker的任务分为两个部分：ResourceManger和ApplicationMaster分别进行资源额管理和任务的管理。使用NodeManager替代原来的TaskTracker，执行map reduce 任务
Hadoop-Yarn资源调度流程
wyc_595998412的博客
08-30 1072
步骤1　用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 步骤2　ResourceManager为该应用程序分配第一个Container，并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。 步骤3　ApplicationMaster首先...
YARN的三大组件及调度流程
祁小北de博客
07-16 406
YARN的三大组件及调度流程
yarn与MapReduce过程
xuingyu的博客
04-02 2034
YARN的基本思想是将资源管理和作业调度/监视功能划分为单独的守护进程。其思想是拥有一个全局ResourceManager (RM)为资源调度以及每个应用程序拥有一个ApplicationMaster (AM)作业调度。应用程序可以是单个作业，也可以是一组作业。在MR程序运行时，有五个独立的进程：- YarnRunner: 用于提交作业的客户端程序- ResourceManager: yarn资源管理器，负责协调集群上计算机资源的分配。
Spark的架构和任务调度
CatherineHuangTT的博客
11-23 740
Spark的任务调度顺序： 1.首先我们会选择集群中的一台机器去提交我们的代码，我们提交的这个代码就是一个application 2.如果是client的模式，会在提交任务的这台机器上面开启一个driver线程，如果是cluster的模式，会随机选择一台机器开启driver线程，driver开启以后，就开始打算执行提交的代码，开启driver的时候对SparkContext进行初始化，
Spark Yarn-Cluster 模式下官方求 Pi 案例解析
2. 启动YARN：这包括ResourceManager和NodeManager，它们负责资源管理和任务调度。 3. 检查集群状态：通过命令行或Web UI确认所有节点都已启动并处于活动状态。 4. 关闭安全模式：如果HDFS处于安全模式，需要将其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值