spark资源调度与yarn类比

最新推荐文章于 2024-11-06 10:29:18 发布
原创 最新推荐文章于 2024-11-06 10:29:18 发布 · 718 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

博客主要介绍了Spark资源调度与Yarn的类比情况。其中，Spark的master对应Yarn的resourcemanager，负责资源调度；worker对应nodemanager，负责启动执行任务进程等；executor对应yarnchild，负责执行计算任务；SparkSubmit对应AppMaster，负责提交任务和申请资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark资源调度与yarn类比：

master负责资源调度：就是决定在那些worker上启动executor,监控worker) ————>   yarn上的是resourcemanager

worker负责启动执行任务的进程（executor），并且监控executor，并且将当前机器的信息通过心跳汇报给master

————>nodemanager

executor负责执行计算任务————>yarnchild

SparkSubmit负责向Master提交任务并申请资源，然后该任务下的executor跟sparkSubmit进行通信，监控Executor

————>AppMaster

 

Spark中Yarn资源调度与任务调度详解
2301_77702743的博客
09-26 1308
1）Application：基于spark的应用程序，包含了Driver程序和集群上的Executor2）Executor：是在一个WorkNode上为某应用启动的一个进程，该进程负责运行任务，并且将数据存储在内存或者磁盘上。每一个应用都有各自独立的Executors3）Task：是一个线程对象，是被送到某个Executor上的执行单元4）DriverProgram：运行main函数并新建SparkContext的程序5）ClusterManager：在集群上获取资源的外部服务。
安装Spark-单机部署,Standalone集群部署,Spark on Yarn实现
weixin_58305115的博客
10-07 2037
SparkSession也是Spark程序中的一个类，功能类似于SparkContext，Spark2.0以后推出的，如果Hadoop生态的程序，例如MR、Hive、Sqoop、Oozie等使用YARN来计算。2-存储实时工具元数据。资源管理和任务调度：将所有从节点的资源在逻辑上合并为一个整体，将任务分配给不同的从节点。使用自己所在节点的资源运行计算进程Executor：给每个计算进程分配一定的资源。YARN支持多种类型程序的运行：MR、Tez、Spark、Flink等。
资源调度框架YARN
vincent_duan的专栏
11-06 320
YARN产生背景 MapReduce1.x存在的问题 在1.x版本中，架构也是master/slave的，对应的角色是分别是JobTracker和TaskTracker，一个作业可以拆分成MapTask和ReduceTask，一个JobTracker跟踪多个TaskTracker。 JobTracker负责资源的管理和状态的管理，TaskTracker定期向JobTracker汇报本节点的健康状...
Spark on Yarn资源调度源码解析
建模分析师胡选来
03-02 2547
在命令行中调用SparkSubmit类启动Spark自定义Jar包执行的时候当前节点调用的有主函数的类名childMainClass分为 ----------------- standalone: org.apache.spark.deploy.rest.RestSubmissionClient client：jar包中main函数，默认形式 yarn-cluster：org.apache
Spark的资源调度
背着梦的幸存者
11-09 2505
文章目录1、绪论2、前置知识3、流程图4、详细步骤 1、绪论      上图是Spark程序运行时的一个超级简单的概括。我们运行一个Spark应用程序时，首先第一步肯定是写一个Spark Application应用程序，然后调用资源调度器为Driver申请资源。申请成功后，向master为Application申请资源，申请完毕后，调用资源调度器把任务分发到节点执行。在各个节点进行分布式的并行计算...
资源调度框架YARN解析
weixin_43238751的博客
11-12 341
Yarn作为Hadoop的资源调度框架，承担着扩展Hadoop的重要责任，我们配置Spark时就使用了Spark on Yarn的配置方法，这里简单介绍一些YARN的工作原理，有助于理解整个系统处理作业的过程。 在配置好的Hadoop环境中，我们输入jps查看进程，可以看到，master节点上的ResourceManager和slave节点上的NodeManager就是属于Yarn的进程。 几个需...
为什么我们管Yarn叫作资源调度框架
0117
07-30 236
我们知道，Hadoop主要由三部分组成，除了之前说的MapReduce，还有分布式文件存储系统HDFS，和分布式集群资源调度框架Yarn。本篇专栏就来主要的来说一下Yarn框架，它使Hadoop从一个单一的大数据计算引擎，成为了一个集存储，计算，资源管理为一体的大数据平台，进而发展出自己的大数据体系。 Yarn的发展 首先我们来看一下，单纯MapReduce的架构思路：MapReduce最核心的就...
Spark 程序开发与提交：本地与集群模式全解析
最新发布
天冬忘忧的博客
11-06 1680
本文将深入探讨 Spark 程序在本地开发并远程提交到集群测试的过程，以及使用 spark - submit 脚本在集群模式下提交程序的相关知识，包括参数配置、运行模式等内容。
拜访斯巴克(Spark)建筑集团——理解 spark 的调度系统、shuffle 管理、内存管理、存储系统
fanghailiang2016的博客
04-04 1455
话说很久以前，美国有一家名扬海内外的建筑集团，名为“斯巴克（Spark）”。这家建筑集团规模庞大，设有一个总公司（Driver），和多个分公司（Executors）。斯巴克公司的主要服务对象是建筑设计师（开发者），建筑设计师负责提供设计图纸（用户代码、计算图），而斯巴克公司的主营业务是将图纸落地、建造起一栋栋高楼大厦。
Spark入门(二)运行模式及安装部署
PassionZheng的博客
05-19 784
上一节对Spark进行大致的介绍，包括其历史、特点以及各内置模块等方面内容，书归正题，本节就对Spark框架的安装部署进行大致的介绍。 部署Spark集群大体上分为两种模式：单机模式与集群模式。大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境，但是在生产环境中，并不会使用单机模式。因此，后续会直接按照集群模式部署Spark集群。 Spark目前支持 4 种运行模式： 1）Local模式：在本地部署单个Spark服务（适用于测试） 2）Standalone模式：并非是单节点，而是使用Spark自
spark10--资源调度模式, yarn的任务调度流程
大数据开发工程师
01-19 713
资源调度模式 Spark runs on Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud. local 模式(本地模式) standalone 模式 spark-on-yarn 模式 mesos模式 decker cloud … 用哪种资源调度模式比较好? 需要通过公司需求和运行速度来综合 衡量 哪种资源调度模...
【Spark篇】---Spark资源调度和任务调度
L先生AI课堂
02-05 367
一、前述   Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。 自愿申请的话，本文分粗粒度和细粒度模式分别介绍。   二、具体   Spark资源调度流程图：              Spark资源调度和任务调度的流程：                  1、启动集群后，Worker节点会向Master节点汇报资源情况，M...
Yarn的调度器, Spark的任务调度, DAGSchedule, TaskSchedule, worder 13
啊策策大数据社区
07-15 436
1. 复习, Yarn三种调度器 1.1 什么是调度器 主要是用于研究一个任务提交之后,下一个任务又来了改怎么执行. 绝对我们任务如何进行执行. 1.2 Yarn当中的调度器主要有三种 第一种:队列调度器FIFO: 第一个任务提交,先执行.然后第二个任务提交,等着第一个任务执行完毕之后再执行第二个任务. ...
spark on yarn申请内存大小的计算方法
冰血ANG的博客
10-10 3556
最近在调试sparkStreaming程序的时候，遇到一个问题： 我设置的sparkStreaming的相关参数如下： spark.executor.instances： 56 spark.executor.memory ：2G spark.driver.memory：5G spark.executor.cores：2 按照这部分参数，计算出来申请的内存大小应该是： 56 * 2G + 5G = ...
Spark部署模式详解（Local，Standlone，Yarn）
Yage的博客
05-15 2956
1 为什么需要Yarn Yarn 的全称是 Yet Anther Resource Negotiator（另一种资源协商者）。它作为Hadoop 的一个组件，官方对它的定义是一个工作调度和集群资源管理的框架。 Yarn 最早出现于 Hadoop 0.23 分支中，0.23 分支是一个实验性分支，之后经过了几次迭代，最后发布于 2014 年 6 月的 0.23.11 版本(该分支的最后一个版本)。在...
Yarn和Spark的StandAlone调度模式的对比
longwenyanlan的博客
12-02 2204
Yarn和Spark的StandAlone调度模式的对比: MapReduce中的maptask和reducetask都是在YarnChild中进行计算的,YarnChild是一个进程,使用jps命令可以看到 1.yarn中的ResourceManager和Spark中的master作用:都是管理子节点,资源调度,接收任务请求 2.yarn中的nodemanager和spark中的worker:管...
spark on yarn 上的两种模式 client 和 cluster
sghuu的博客
12-16 521
比较详细比较全面：https://www.jianshu.com/p/0ee5e941a7cb
Spark学习笔记之-Spark on yarn（动态资源调度）
dandykang的博客
09-01 4783
对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务（比如Thrift Server），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源张，这就造成了很大的资源浪费和资源不合理的调度。      动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减 Executor个数，从而实现动态分配资源，使整个
spark性能调优：资源优化
purisuit_knowledge的专栏
07-08 719
转载： 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很 多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数 设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进 而导致各...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值