spark任务执行过程&spark与yarn的对比

最新推荐文章于 2022-02-14 18:09:13 发布
原创 最新推荐文章于 2022-02-14 18:09:13 发布 · 397 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark任务执行过程 #spark&yarn

本文详细介绍了Yarn和Spark StandAlone两种调度模式下各组件的作用及交互方式，包括ResourceManager、NodeManager、ApplicationMaster等关键角色在任务执行过程中的职责划分。

spark任务执行过程如下图
在这里插入图片描述

Yarn和Spark的StandAlone调度模式对比

ResouceManager Master 管理子节点、资源调度、接收任务请求
NodeManger Worker 管理当前节点，并管理子进程
YarnChild Executor 运行真正的计算逻辑的（Task）
Client SparkSubmit （Client + ApplicaitonMaster）提交app，管理该任务的Executor
ApplicaitonMaster 并将Task提交到（Executor）

Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
xby18772963985的博客
01-06 2608
Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。 在大数据平台中，Spark是以Spark on YARN的方式运行
Spark的一些问题汇总 及 Yarn与Spark架构的对比
木易巷的小博客
11-05 1460
1、集群资源管理者（Master）:ResourceManger（RM）2、单任务执行者（Worker）:Task(容器内计算框架的工作角色)1、单任务管理者（Master）:ApplicationMaster。2、单机资源管理者（Worker）:NodeManger。2、单任务执行计算者:Executor (干活的)1、集群资源管理者:Master。2、单机资源管理者:Worker。1、单任务管理者:Driver。
hadoop中的Yarn和spark的StandAlone调度模式的对比
weixin_43866709的博客
05-28 574
YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。 YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算...
Hadoop，MapReduce，YARN和Spark的区别与联系
m0_37950361的博客
06-14 921
　（1） Hadoop 1.0 　　第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。 　　（2） Hadoop 2.0 　　第二代Hadoop...
什么是YARN？跟HBase和Spark比优势在哪？终于有人讲明白了
华章IT官方博客
12-05 822
导读：HBase没有资源什么事情也做不了，Spark占用了资源却没有事情可做？YARN了解一下。作者：朱凯来源：大数据DT（ID：hzdashuju）01概述随着Hadoop生态的发展...
spark yarn 提交_Spark集群和任务执行
weixin_32301287的博客
01-05 218
Spark集群和任务执行​mp.weixin.qq.com【前言：承接《Spark通识》篇】Spark集群组件Spark是典型的Master/Slave架构，集群主要包括以下4个组件：Driver：Spark框架中的驱动器，运行用户编写Application 的main()函数。类比于MapReduce的MRAppmasterMaster：主节点，控制整个集群，监控worker。在Yarn模式中为...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
3. **配置yarn-site.xml**：为了防止YARN因内存限制而终止Spark任务，我们需要在`yarn-site.xml`中取消内存检查。这可以通过设置两个属性`yarn.nodemanager.pmem-check-enabled`和`yarn.nodemanager.vmem-check-...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
Java提交Spark任务到YARN...以上就是Java提交Spark任务到YARN平台的核心知识点，涵盖了从环境搭建、代码编写、任务提交到资源管理和性能优化的全过程。掌握这些要点，可以有效地在大规模集群上运行和管理Spark作业。
【Spark大数据习题】习题-Spark SQL&&&Kafka&& HBase&&HivePDF资源路径-Spark2
06-01
Spark集群部署有Standalone、YARN和Mesos三种模式，启动Spark集群的命令是`sbin/start-all.sh`。Spark的运行架构由SparkContext、Cluster Manager和Worker组成，其中SparkContext是应用程序的入口点。 Spark SQL是...
Spark的Yarn模式
01-20
Spark的Yarn模式是将Spark应用部署在Hadoop的YARN资源管理系统上的方式，这种方式无需单独搭建Spark集群，而是利用YARN的资源管理和调度能力。YARN（Yet Another Resource Negotiator）是Hadoop 2.x版本引入的一个...
spark的执行流程
wjn19921104的博客
06-19 638
spark的执行流程:spark的集群 ：master： 1/管理集群，start-all.sh，启动集群，让worker去master 发心跳，上报自己状态，告诉master自己有多少资源（cpu，内存） 2/接受driver的注册。你的程application运行之后，会在driver端，向master进行注册。 3/资源调度，spark程序可以同时的运行很多个application，每...
Spark 执行流程
乐维的专栏
07-22 804
Spark 执行流程 解析 1、我们提交Spark程序通过 spark-submit (shell）提交到Spark集群中我们提交程序后会创建一个Driver进程 2、Driver构造SparkConf 初始化SparkContext ，SparkContext 构建 DAGScheduler和TaskScheduler 3、TaskScheduler 初始化后会调用会去连接Mas...
Spark执行任务流程（standalone、yarn）未
weixin_33883178的博客
04-17 172
为什么80%的码农都做不了架构师？>>> ...
Hadoop、MapReduce、YARN和Spark的区别与联系
ldcaws的专栏
03-17 1万+
（1） Hadoop 1.0 第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。 （2）  Hadoop 2.0 第二代Hadoop，为克服Had
Hadoop和Spark的区别
热门推荐
u010899985的博客
08-08 2万+
hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System ，HDFS）。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（hig...
1 Spark基础入门
THE ORDER
02-14 529
1 Spark是什么 2 spark风雨十年 3 扩展资料 4 Spark四大特点 5 Spark 框架模块 1.6 Spark的运行模式 1.7 Spark的架构角色 8 总结 1 Spark解决什么问题？ 海量数据的计算，可以进行离线批处理以及实时流计算 2 Spark有哪些模块？ 核心SparkCore、SQL计算（SparkSQL）、流计算（SparkStreaming ）、图计算（GraphX）、机器学习（MLlib） 3 Spark特点有哪些？ 速度快、使用简单
Spark Executor on YARN
Aegeaner的专栏
11-22 1042
YARN executor launch context env: CLASSPATH -> {{PWD}}<CPS>{{PWD}}/__spark_conf__<CPS>{{PWD}}/__spark_libs__/*<CPS>$HADOOP_CONF_DIR<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/*<CPS>$HADOOP_COMMON
Spark on YARN-Cluster和YARN-Client的区别
wjl7813的博客
04-16 9471
YARN-Cluster和YARN-Client的区别 （1）SparkContext初始化不同，这也导致了Driver所在位置的不同，YarnCluster的Driver是在集群的某一台NM上，但是Yarn-Client就是在driver所在的机器上；（2）而Driver会和Executors进行通信，这也导致了Yarn_cluster在提交Ap...
Spark中Standalone、Yarn和Mesos三种资源管理和任务调度框架的对比
Pizza_great的博客
09-27 2773
Spark on Standalone： Standalone是SparkCore自带的集群资源管理框架，类似于MR V1.0采用的模式（JobTracker），内部实现了容错性和资源管理。 内部架构：Client、Master、Worker Spark on Standalone的运行流程是将程...
Java环境配置与Spark任务提交至YARN平台指南
文档共9页，系统地讲解了配置和执行过程中的关键步骤，包括环境准备、配置文件的设置、Spark与YARN交互的机制以及提交任务的命令等。 首先，文档可能会从环境搭建开始，讲述如何安装Java开发环境、Spark和Hadoop ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值