基于Yarn运行spark应用的进程分析

Spark实时进度查询 Spark实时进度查询 大家好,我是一拳就能打爆帕特农神庙柱子的猛男 相信大家都有需求要查询Spark程序执行的进度,所以今天给大家带来Spark实时进度查询的方式整理。我在Spark官网找到了关于Spark监控的相关介绍,Spark指标监控有几种方法:web UI,REST API 1、 web UI 当SparkContext执行的时候,在浏览器中访问服务器IP:4040就可以进入UI界面: 其中可以访问到的内容有: 一系列的task和scheduler stage RDD的size和memory 阅读详情

首先配置HADOOP_CONF_DIR或者YARN_CONF_DIR指向hadoop集群,从而可以调用Yarn的资源管理器。

两种模式:

1,Yarn-client:

Spark driver运行在client进程中,只是利用AM(applicationMaster)向Yarn的资源管理模块申请资源。

运行此种模式只需指定参数yarn-client即可,例如:

[root@lr spark]# ./bin/spark-submit --class org.apache.spark.examples.SparkPi     --master yarn-client     --num-executors 3     --driver-memory 1g     --executor-memory 1g     --executor-cores 1         lib/spark-examples*.jar     10
 

准备spark driver运行环境,启动sparkContext,

AM向Yarn申请资源:

客户端提交任务:

Spark 任务开始执行,启动DAGScheduler, TaskSetManager:

启动executors:

任务结束,按如下顺序退出:

DAGScheduler à executors à MapOutTrackerActor à BlockManagerMaster à sparkContext

通过监视yarn-client模式下spark应用进程,可以看到进程启动以此如下:

SparkSubmit àExecutorLauncherà CoarseGrainedExecutorBackend

执行进程详情:

[root@lrspark]# jps
992CoarseGrainedExecutorBackend
644 SparkSubmit
12085ResourceManager
14742 Nailgun
11846DataNode
857ExecutorLauncher
988CoarseGrainedExecutorBackend
12190NodeManager
990CoarseGrainedExecutorBackend
11742NameNode

2,Yarn-cluster:

Spark driver运行在Yarn 的AM(application master)进程中,spark终端进程提交任务后便等待任务完成,定期检查任务状态。

运行此种模式只需指定参数yarn-cluster,示例:

[root@lr spark]# ./bin/spark-submit --classorg.apache.spark.examples.SparkPi    --master yarn-cluster     --num-executors 3     --driver-memory 1g     --executor-memory 1g     --executor-cores 1         lib/spark-examples*.jar     10

YARN首先为AM设置container来接受spark任务,


Spark客户端进程提交任务:


Spark客户端检查任务状态:


Spark任务结束,客户端退出:


通过监视yarn-cluster模式下spark应用进程,可以看到进程启动以此如下:

sparkSubmit --> ApplicationMaster--> CoarseGrainedExecutorBackend


执行进程详情: 

[root@lrspark]# jps
2149CoarseGrainedExecutorBackend
12085ResourceManager
2117CoarseGrainedExecutorBackend
14742Nailgun
11846DataNode
2170 Jps
12190NodeManager
2126CoarseGrainedExecutorBackend
11742NameNode
1902ApplicationMaster
1583SparkSubmit

 

结论:

通过上述分析,可以看出yarn-client和yarn-cluster模式的主要区别就是谁负责spark应用的执行,yarn-client用ExecutorLauncher,而yarn-cluster用Yarn的ApplicationMaster。当然相同之处就是都通过Yarn的resourceManager分配资源,而且最终都是通过CoarseGrainedExecutorBackend粗粒度调度执行。

参考http://spark.apache.org/docs/latest/running-on-yarn.html












如何准确计算Spark On Yarn资源消耗 - spark On Yarn内存计算 spark on yarn 内存计算 摘要:相信每个写spark 的 sparker 都有过 spark on yarn 的任务提交经历,或许在你集群资源够多的情况下,我们只关注分配的资源是否能另任务顺畅的跑起来,而不会去关注生成一个spark任务最终在yarn上面消耗了多少的资源。不过如果你的集群资源并没有多到任你挥霍的程度,这篇文章可以教你如何把集群资源了如指掌。 1.Continer数量计... 阅读详情

相关推荐

搭建 Spark YARN 模式集群指南

搭建 Spark YARN 模式集群为处理大规模大数据提供了强大的支持。通过合理的配置和优化,可以充分发挥 Spark 和 YARN 的优势,实现高效、稳定的数据处理。在实际应用中,不断探索和尝试新的配置策略和优化方法,以适应不断变化的业务需求。同时,随着技术的发展,关注 Spark 和 YARN 的最新动态,及时引入新的特性和功能,进一步提升集群的性能和可靠性。如果你在搭建过程中遇到任何问题,可以参考 Spark 和 Hadoop 的官方文档,或者在相关的技术社区寻求帮助。

2301_80870395的博客 1931

Spark 在 Yarn 上运行 Spark 应用程序

在Yarn上运行Spark提供了与其他Hadoop组件最紧密的集成,也是在已有Hadoop集群上使用Spark的最简单的方法。为了在Yarn上运行Spark应用程序,Spark提供了两种部署模式Client模式和Cluster模式。Client模式的Driver在客户端运行,而Cluster模式的Driver在Yarn的ApplicationMaster上运行。...

SmartSi 2225

Spark On YARN启动流程源码分析

1、spark-submit入口介绍 一般的spark作业都是通过命令行spark-submit相关的指令来进行提交,使用--master yarn来指定提交到对应的yarn集群上,如下: ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory

METON的博客 1591

Yarn 监控 - 监控任务运行状态 (包括Spark,MR 所有在Yarn中运行的任务)

平时开发中可以在yarn的web页面查看应用程序运行状态,如下图 下面代码实现了,代码监控Yarn运行程序,可以对部分任务进行实时监控 Maven pom引用 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop...

jast 9025

Spark on YARN 笔记

一直对hadoop这套局限在会用就好,没有对hadoop生态有个系统性的深入了解,也就导致在用的时候出问题很难找到关键的原因,都得google so 各种找相关信息。所以现在觉得,还是得花一些时间,至少把与平时用到的相关部分的原理、概念理解清楚。只要是用hadoop生态的组件,很多都会用YARN来管理资源与任务分配。而资源分配的合理与否,直接关系到任务的执行效率,甚至决定成功或失败。spark又是现

thriving_fcl的博客 1575

别再凭感觉了!手把手教你用Excel搞定激光器MPE与NOHD安全计算(附模板下载)

本文详细介绍了如何利用Excel自动化计算激光器的MPE(最大允许照射量)和NOHD(标称眼危害距离),提升激光安全评估的效率和准确性。通过实战案例和模板下载,帮助工程师快速掌握GB/T 7247标准中的关键计算,避免常见错误,适用于激光测距仪等设备的安评工作。

weixin_30954265的博客 469

Spark之Launch Executor

文章目录概要1. 启动流程之Master端1.1 Executor启动之Master执行startExecutorsOnWorkers()1.2 Executor启动之Master确定Worker上的Core数量1.1 Executor启动之Master分配Worker资源给Executor1.1 Executor启动之Master发送LaunchExecutor消息2. 启动流程之Worker端...

pre_tender的博客 1030

合成生物学中试:花钱只是开始,烧钱才是常态

2026年合成生物学行业面临严峻产业化挑战:多家企业终止发酵项目或延期投产,显示从实验室到工厂的转化困境。核心问题并非基因合成成本,而是工艺放大难题——67%项目在中试阶段因工艺问题失败。AI辅助无法替代工程经验,菌株-配方-工艺的三元适配需要长期数据积累。中试成本惊人,涉及设备折旧、原料消耗和稀缺工艺人才,而行业普遍回避讨论这些工程现实,导致认知偏差。建议创业者提前布局中试,将其视为核心竞争力而非简单成本项。合成生物学的真正瓶颈在于工程化能力,这需要时间沉淀而非技术叙事。

AIexander的博客 945

Spark系列一:Spark入门,和他的第一次碰面是这样的

目录 1.提交第一个spark应用到集群中运行 2.提交一个spark程序到spark集群,会产生哪些进程? 3.Spark Shell 案例:用spark Shell完成WordCount计算 4.Spark中的重要角色 ​ 5.Spark任务执行过程简介 6.Yarn和Spark的StandAlone调度模式对比 7.用idea编写spark程序 1.提交第一个spar...

m0_37657725的博客 414

集成电路模拟版图入门-版图基础学习笔记(一)

集成电路设计模拟版图入门笔记,了解版图的定义、意义、工具、设计流程。认识版图及版图组成的两大部件,版图编辑器有哪些,电路图编辑器,了解工艺厂商等。

weixin_52955333的博客 2万+

施密特触发电路详细原理介绍

我们想获得矩形脉冲,有种方法是可以采用整形的方法获得矩形脉冲,但前提是可以找到频率和幅度都符合要求的电压信号。 我们设定矩形脉冲的几个指标。 施密特电路是脉冲波形变换中一种常采用的电路,主要有以下两个特点: 1.输入电平从低电平上升过程中电路状态转换为对应的输入电平,与高电平下降过程中对应的输入转换电平不同。 2.通过电路内部的正反馈使输出电压波形的边沿变得很陡。 施密特电路的结构和工作原理 我们先从模电的角度来分析此电路的工作原理。 此电路是通过公共发射极电阻耦合的两级正反馈放大器。 v1输入为低电平

fcxgfdjy的博客 1万+

Flink VS Spark 部署模式对比

主要对Flink和Spark集群的standalone模式及on yarn模式进行分析对比。Flink与Spark的应用调度和执行的核心区别是Flink不同的job在执行时,其task同时运行在同一个进程TaskManager进程中;Spark的不同job的task执行时,会启动不同的executor来调度执行,job之间是隔离的。 Standalone模式 Flink 和Spark均支持standalone模式(不依赖其他集群资源管理和调度)的部署,启动自身的Master/Slave架构的集群管.

yang灬仔 896

华为昇腾Ascend C中级认证考试-tanh

注册昇腾社区账号后可以免费领券考试。

2600_96284887的博客 476

【大数据】Spark 体系(一)

Spark 基础入门

柠檬小帽的博客 - 计算机全栈体系 3274

HFSS之天线设计实例

目录 矩形微带天线 微带天线尺寸计算 微带线的3个关键指标如以下 HFSS设计流程 新建工程并设置求解类型 天线建模 添加求解设置和扫频设置 天线建模步骤 谐振点查看 优化设计 查看天线分析结果 3D增益 Smith圆图 S参数 驻波比 ​ 平面增益 方向性系数\增益\轴比 矩形微带天线 微带天线的概念首先是由Deschamps于1953年提出来的,经过20年左右的发展,Munson和Howell于20世纪70年代初期制造出来了实际的微带天线 一个简单的...

ASH_GUARDIAN的博客 1万+

【2026年阿里巴巴集团暑期实习- 4月25日-算法岗-第二题- 矩阵计数】(题目+思路+Java&C++&Python解析+在线测试)

摘要: 给定两个非负整数序列a和b,构造n×m矩阵C,其中C[i][j]=a[i]×b[j]。统计矩阵中元素≥k的数量。解法是先对数组b排序,然后对于每个a[i],若k=0则直接累加m;若a[i]=0且k>0则跳过;否则计算需要的最小b[j]值,在排序后的b中使用二分查找确定满足条件的元素数量。时间复杂度为O((n+m)log m),空间复杂度O(1)。代码实现了排序和二分查找的高效组合。

m0_73659489的博客 67

大数据组件之Spark简介

简介 Apache Spark是一个统一的分析引擎,用于大规模数据处理。相对于 MapReduce 的批处理计算,Spark 可以带来上百倍的性能提升,因此它成为继 MapReduce 之后,最为广泛使用的分布式计算框架。 它为Java,Scala,Python和R以及支持一般执行图的优化引擎提供高级API。它还支持丰富的高级工具集,包括SQL和结构化数据处理的Spark SQL,MLLIB用于机器学习,图形处理的Graphx,以及用于增量计算和流处理的结构化流。 架构 Spark应用程序在

GAOXINXINGgaoxinxing的博客 500

1篇1章3节:R 语言的产生与发展轨迹(更新2024/08/14)

药物的研究阶段包括靶标确定、生物学模型建立、新化学实体的发现和优化新化学实体四个关键环节。每个环节都在药物研发过程中发挥着至关重要的作用。通过科学严谨的方法和技术手段,研究人员能够在药物研发过程中不断探索和优化,从而发现和开发出具有高效、安全性的候选药物,为疾病治疗提供更多的选择和希望。

MD Code 2669

《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

大家好!今天为大家分享的是《PySpark大数据分析实战》第2章第4节的内容:Spark on YARN配置Spark运行在YARN上。

wux_labs的博客 1861

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

在Spark集群搭建之Yarn模式

1.上传并解压spark-3.1.2-bin-hadoop3.2.tgz,重命名解压之后的目录为spark-yarn。5. /opt/module/spark-standalone/examples/jars/spark-examples_2.12-3.1.1.jar:指定了包含应用程序代码的 JAR 文件的路径。NodeManager:部署在集群中的每个节点上,负责管理该节点上的资源使用情况,监控容器的运行状态,并且与 ResourceManager 保持通信,汇报节点的资源使用信息。

2401_87129116的博客 1838

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

spring boot整合spark,基于yarn运行提交spark任务 spark on yarn

springboot整理spark,基于yarn提交job任务

qq_41587243的博客 1万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Spark on Yarn安装配置

今天我们讲解Spark的安装配置,spark的部署分为两种,一种是Standalone模式,另一种就是on yarn 模式,我们这一节着重讲解on yarn 模式,因为符合生产活动,但也会提到Standalone模式。

2301_78038072的博客 2884

【Spark】Spark 运行架构--YARN 运行模式

本篇结构: 运行架构组成 运行模式介绍 两个重要类 TaskScheduler 和 SchedulerBackend yarn 运行模式 一、运行架构组成 Spark 运行架构主要由三部分组成: SparkContext:Spark 运行上下文,通常可以认为是 Driver 端,负责与 ClusterManager 通信,进行资源申请、认为分配和监控,负责作业执行的全部生命周期。 Clust...

w1992wishes的博客 500

Spark on YARN cluster & client 模式作业运行全过程分析

一、Spark:Yarn-Cluster 与 Yarn-Client 的区别与联系 我们都知道Spark支持在yarn上运行,但是Spark on yarn有分为两种模式yarn-cluster和yarn-client,它们究竟有什么区别与联系?阅读完本文,你将了解。 Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN ),集群管理负责启动executor进程,编写Spark application 的人根本不需要知道Spark用的是什么集群管理。Spark支持的三种集群模式,

学亮编程手记 1349

Spark on YARN:Spark集群模式之Yarn模式的原理、搭建与实践

本文将深入探讨为什么要将 Spark 程序运行在 YARN 上而不是 Spark 自带的 Standalone 集群上,详细介绍 Spark 的 YARN 集群搭建过程,以及在 YARN 模式下不同 deploy mode 的区别,并结合实际测试案例,帮助读者全面理解 Spark on YARN 这一重要的大数据技术应用。

天冬忘忧的博客 2565
上一篇: 关于dos-formatted/unix-formatted 文件转换
下一篇: Protocol Buffers, Avro, Thrift,MessagePack区别
reylee911
博客等级 码龄12年 6粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值