spark资源调度与yarn类比

最新推荐文章于 2025-05-24 10:45:13 发布
原创 最新推荐文章于 2025-05-24 10:45:13 发布 · 733 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

博客主要介绍了Spark资源调度与Yarn的类比情况。其中，Spark的master对应Yarn的resourcemanager，负责资源调度；worker对应nodemanager，负责启动执行任务进程等；executor对应yarnchild，负责执行计算任务；SparkSubmit对应AppMaster，负责提交任务和申请资源。

spark资源调度与yarn类比：

master负责资源调度：就是决定在那些worker上启动executor,监控worker) ————>   yarn上的是resourcemanager

worker负责启动执行任务的进程（executor），并且监控executor，并且将当前机器的信息通过心跳汇报给master

————>nodemanager

executor负责执行计算任务————>yarnchild

SparkSubmit负责向Master提交任务并申请资源，然后该任务下的executor跟sparkSubmit进行通信，监控Executor

————>AppMaster

 

Spark资源管理：YARN vs Mesos vs Standalone对比分析
2501_92132293的博客
10-15 757
想象你经营着一家大型玩具工厂（Spark集群），每天需要生产各种玩具（计算任务）。每个玩具生产需要不同的机器（CPU）、电力（内存）和工人（线程）。如果资源分配混乱——比如把所有电力都给了组装区，导致包装区停工——工厂效率会大打折扣。资源管理系统就是工厂的"调度中心"，负责合理分配资源给不同任务，确保整个工厂高效运转。Spark的YARN、Mesos、Standalone三种资源管理模式分别是什么？它们如何分配资源，各自有什么"管理风格"？不同场景下应该选择哪种模式？
安装Spark-单机部署,Standalone集群部署,Spark on Yarn实现
weixin_58305115的博客
10-07 2131
SparkSession也是Spark程序中的一个类，功能类似于SparkContext，Spark2.0以后推出的，如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算。2-存储实时工具元数据。资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点。使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源。YARN支持多种类型程序的运行：MR、Tez、Spark、Flink等。
资源调度框架YARN
vincent_duan的专栏
11-06 346
YARN产生背景 MapReduce1.x存在的问题 在1.x版本中，架构也是master/slave的，对应的角色是分别是JobTracker和TaskTracker，一个作业可以拆分成MapTask和ReduceTask，一个JobTracker跟踪多个TaskTracker。 JobTracker负责资源的管理和状态的管理，TaskTracker定期向JobTracker汇报本节点的健康状...
Spark on Yarn资源调度源码解析
建模分析师胡选来
03-02 2569
在命令行中调用SparkSubmit类启动Spark自定义Jar包执行的时候当前节点调用的有主函数的类名childMainClass分为 ----------------- standalone: org.apache.spark.deploy.rest.RestSubmissionClient client：jar包中main函数，默认形式 yarn-cluster：org.apache
Spark的资源调度
背着梦的幸存者
11-09 2523
文章目录1、绪论2、前置知识3、流程图4、详细步骤 1、绪论      上图是Spark程序运行时的一个超级简单的概括。我们运行一个Spark应用程序时，首先第一步肯定是写一个Spark Application应用程序，然后调用资源调度器为Driver申请资源。申请成功后，向master为Application申请资源，申请完毕后，调用资源调度器把任务分发到节点执行。在各个节点进行分布式的并行计算...
资源调度框架YARN解析
weixin_43238751的博客
11-12 380
Yarn作为Hadoop的资源调度框架，承担着扩展Hadoop的重要责任，我们配置Spark时就使用了Spark on Yarn的配置方法，这里简单介绍一些YARN的工作原理，有助于理解整个系统处理作业的过程。 在配置好的Hadoop环境中，我们输入jps查看进程，可以看到，master节点上的ResourceManager和slave节点上的NodeManager就是属于Yarn的进程。 几个需...
为什么我们管Yarn叫作资源调度框架
0117
07-30 253
我们知道，Hadoop主要由三部分组成，除了之前说的MapReduce，还有分布式文件存储系统HDFS，和分布式集群资源调度框架Yarn。本篇专栏就来主要的来说一下Yarn框架，它使Hadoop从一个单一的大数据计算引擎，成为了一个集存储，计算，资源管理为一体的大数据平台，进而发展出自己的大数据体系。 Yarn的发展 首先我们来看一下，单纯MapReduce的架构思路：MapReduce最核心的就...
Spark中Yarn资源调度与任务调度详解
2301_77702743的博客
09-26 1403
1）Application：基于spark的应用程序，包含了Driver程序和集群上的Executor2）Executor：是在一个WorkNode上为某应用启动的一个进程，该进程负责运行任务，并且将数据存储在内存或者磁盘上。每一个应用都有各自独立的Executors3）Task：是一个线程对象，是被送到某个Executor上的执行单元4）DriverProgram：运行main函数并新建SparkContext的程序5）ClusterManager：在集群上获取资源的外部服务。
Spark集群架构解析：核心组件与Standalone、YARN模式深度对比(AM，Container，Driver，Executor)
全局可见
05-24 1660
AM，Container，Driver，Executor，Spark on Yarn，Spark Standalone
spark on yarn
最新发布
11-25
4. **运行机制**：结合引用[2]中MapReduce在YARN上的运行机制，类比Spark在YARN上的运行机制（因为Spark的ApplicationMaster也是类似的工作方式）。 5. **常见问题**：比如内存配置问题、调试等。 注意：用户引用[3...
spark10--资源调度模式, yarn的任务调度流程
大数据开发工程师
01-19 734
资源调度模式 Spark runs on Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud. local 模式(本地模式) standalone 模式 spark-on-yarn 模式 mesos模式 decker cloud … 用哪种资源调度模式比较好? 需要通过公司需求和运行速度来综合 衡量 哪种资源调度模...
【Spark篇】---Spark资源调度和任务调度
L先生AI课堂
02-05 390
一、前述   Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。 自愿申请的话，本文分粗粒度和细粒度模式分别介绍。   二、具体   Spark资源调度流程图：              Spark资源调度和任务调度的流程：                  1、启动集群后，Worker节点会向Master节点汇报资源情况，M...
Yarn的调度器, Spark的任务调度, DAGSchedule, TaskSchedule, worder 13
啊策策大数据社区
07-15 450
1. 复习, Yarn三种调度器 1.1 什么是调度器 主要是用于研究一个任务提交之后,下一个任务又来了改怎么执行. 绝对我们任务如何进行执行. 1.2 Yarn当中的调度器主要有三种 第一种:队列调度器FIFO: 第一个任务提交,先执行.然后第二个任务提交,等着第一个任务执行完毕之后再执行第二个任务. ...
spark on yarn申请内存大小的计算方法
冰血ANG的博客
10-10 3617
最近在调试sparkStreaming程序的时候，遇到一个问题： 我设置的sparkStreaming的相关参数如下： spark.executor.instances： 56 spark.executor.memory ：2G spark.driver.memory：5G spark.executor.cores：2 按照这部分参数，计算出来申请的内存大小应该是： 56 * 2G + 5G = ...
Spark部署模式详解（Local，Standlone，Yarn）
Yage的博客
05-15 3030
1 为什么需要Yarn Yarn 的全称是 Yet Anther Resource Negotiator（另一种资源协商者）。它作为Hadoop 的一个组件，官方对它的定义是一个工作调度和集群资源管理的框架。 Yarn 最早出现于 Hadoop 0.23 分支中，0.23 分支是一个实验性分支，之后经过了几次迭代，最后发布于 2014 年 6 月的 0.23.11 版本(该分支的最后一个版本)。在...
第4章 Hadoop YARN
qq_52331221的博客
04-19 746
文章目录第4章 Hadoop YARN一：判断题二：选择题 第4章 Hadoop YARN 一：判断题 1：Yarn 可以作为Spark的资源调度框架 T 2：YARN既是资源管理调度框架，也是一个计算框架。 F 3：MapReduce2.0是运行在YARN之上的计算框架，由YARN来为MapReduce提供资源管理调度服务。 T 4：YARN的体系结构包含三个组件：ResourceManager，NodeManager，ApplicationMaster T 5：YARN可以实现
spark on yarn 上的两种模式 client 和 cluster
sghuu的博客
12-16 555
比较详细比较全面：https://www.jianshu.com/p/0ee5e941a7cb
Spark on Yarn资源调优
chimchim66的博客
05-17 896
前言 Spark是专为大规模数据处理而设计的快速通用的计算引擎，具有速度快、支持多语言、移植性高的特点。而移植性高的体现就在于Spark的部署方式有多种模式，如：本地local、Standalone、Apache Mesos、Hadoop YARN、EC2、Mesos、K8S等等。 背景 一般公司的大数据项目基础设施都是建立在hdfs之上，所以在大部分的公司里，Spark都是跑在Yarn之上，yarn作为一个资源调度器并不能感知Spark作业具体需要分配多少资源，那就需要程序员在提交Spark作业的时候，设
yarn怎样调度spark答疑
java技术分享
08-08 640
yarn怎样调度spark答疑
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值