Spark源码之提交App的流程

最新推荐文章于 2025-09-12 20:46:57 发布

weixin_34128534

最新推荐文章于 2025-09-12 20:46:57 发布

阅读量71

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python

原文链接：https://my.oschina.net/u/778683/blog/1831148

本文详细介绍了Apache Spark中提交任务的不同方式，包括Repl提交、REST提交和本地提交等，并深入探讨了从提交jar包到最终执行task的具体过程。通过master节点进行调度，将jar包及其依赖下载到worker节点上执行。

2019独角兽企业重金招聘Python工程师标准>>>

有多种方式的提交，如Repl提交，rest的提交，本地提交等。

submit过程，在master节点提交jar包，在分配task的时候将jar包和参数里的依赖包路径等在子节点下载，最后执行task。

master在调度到LaunchDriver事件时才真正开始执行jar包的main方法，执行spark程序。

main-> LauchDriver-> rdd.compute()方法->dagSchedule.submitJob—> JobSubmmitted事件 –> finalStage –> submitStage –> submitMissingStage –> ......

1. Rest方式

例如StandaloneRestServer

handleSubmit方法，发送DeployMessages.RequestSubmitDriver消息给master

示例代码见spark-launch和spark-core的相关代码。在deploy和launch两个目录中。

转载于:https://my.oschina.net/u/778683/blog/1831148

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34128534

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

spark app提交流程之cluster模式

m0_48187193的博客

06-19

538

二、yarn–cluster模式提交app 省略相同部分的代码流程，直接进到差异的流程。 2.1在hdp003节点提交app 如下是以cluster 模式在hdp003节点提交app。 2.2 然后cluster执行的代码会走这里 2.3 反射调用YarnClusterApplication对象它也是通过反射的方式获取了YarnClusterApplication对象。然后调用了start方法。看一下 2.3.1 YarnClusterApplication的start方法。 2.3.2创建Cli

spark app提交流程之Client模式

m0_48187193的博客

06-15

574

spark提交app的流程。文章目录spark提交app的流程。前言一、yarn--client模式提交app1.1 SparkSubmit的main方法1.1.1 SparkSubmitArguments类1.1.1.1 parse方法1.1.2 根据action的行为决定执行对应的方法1.2 SparkSubmit的submit方法1.3 SparkSubmit的runMain方法。1.3.1.先执行准备提交环境方法。**1.4 prepareSubmitEnvironmen方法1.5 doPrep

参与评论您还未登录，请先登录后发表或查看评论

spark的任务提交后台提交实例（五）

king_hui719的博客

03-21

770

//本地模式,如果时集群模式需要启动master和worknode ./bin/spark-submit --class com.package.test.app.demo01//直接是对象名称 --deploy-mode cluster //驱动进程四在集群上工作界定云心那个cluster,还是在集群之外客户端运行client analyzer-logs-1.0.jar //日志分析 ...

Spark 应用使用spark laucher提交应用替代spark-submit脚本提交应用

上海菁数信息技术

09-13

2308

使用Package org.apache.spark.launcher来提交spark应用接口摘要接口描述 SparkAppHandle 运行Spark应用的句柄 SparkAppHandle.Listener 获得句柄状态更新的监听器类摘要类描述 AbstractLauncher<T extends ...

spark源码-任务提交流程之-7-流程梳理总结

m0_37817767的博客

08-04

410

spark源码

spark源码-任务提交流程之-1-sparkSubmit

m0_37817767的博客

07-21

919

spark源码阅读

spark源码-任务提交流程之-2-YarnClusterApplication

m0_37817767的博客

07-22

680

spark源码阅读

spark源码-任务提交流程之-3-ApplicationMaster

m0_37817767的博客

07-25

804

spark源码阅读

Spark 作业提交流程源码分析

bigdatakenan的博客

10-20

1356

因为我们的环境是yarn-cluster环境，YarnClusterApplication继承了SparkApplication，所以上一步启动SparkApplication就会启动YarnClusterApplication，我们接下来看一下它的start方法,该方法中new了一个client对象后并调用它的run方法。这个方法中调用了submitApplication方法，返回一个appId,后面是对appId的相关判断和操作，所以下面我们可以看看submitApplication方法做了那些操作。

Spark源码系列（一）spark-submit提交作业过程

01-30

折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。...

Spark源码-任务提交流程之-6-sparkContext初始化

m0_37817767的博客

07-18

1088

spark源码阅读、算子

BYSJLG的博客

09-09

1062

本文介绍了一个基于Hadoop+Spark的物联网网络安全数据分析系统。该系统整合了Hadoop分布式存储和Spark分布式计算，结合Vue前端、Python Django后端以及Echarts可视化技术，构建了一个完整的物联网安全分析平台。系统能够处理15个关键字段的物联网安全数据，通过四个主要分析维度（安全态势评估、攻击类型识别、设备风险评估和性能异常监测）提供全面的网络安全分析。开发环境包括Hadoop、Spark、Hive、Python、Django、Vue等技术栈。文章展示了系统登录界面和管理模块

AI-调查研究-74-具身智能机器人学习新突破：元学习与仿真到现实迁移的挑战与机遇

永远好奇，无限进步！

09-10

970

具身智能体要实现高效学习与技能迁移，核心在于提升少样本学习与跨任务泛化能力。当前机器人学习面临多重挑战：一是任务间的迁移难度大，已学技能难以快速应用到相似任务；二是不同机器人形态和传感系统的异构性增加了适配难度；三是现有强化学习与模仿学习在样本效率和泛化能力上存在局限。为突破瓶颈，研究重点聚焦于元学习、少样本模仿学习和多任务预训练策略。例如，MAML等元学习框架可显著提升新任务适应速度，大规模多任务预训练则能为下游

TDengine 选择函数 TOP() 用户手册

最新发布

TDengine(老段）专注时序数据库领域

09-12

553

其中，TDengine TSDB 是一款高性能、分布式的时序数据库（Time Series Database），同时它还带有内建的缓存、流式计算、数据订阅等系统功能；TDengine IDMP 是一款AI原生工业数据管理平台，它通过树状层次结构建立数据目录，对数据进行标准化、情景化，并通过 AI 提供实时分析、可视化、事件管理与报警等功能。函数返回指定列中最大的 k 个非 NULL 值及其对应的记录。如果多条数据取值相同，且全部取用会超出 k 条限制时，系统会从相同值中随机选取符合要求的数量返回。

还在重启应用改 Topic？Spring Boot 动态 Kafka 消费的“终极形态”

郑龙飞

09-10

736

/ 用于存储 @KafkaListener 的“蓝图”// ... 可按需添加 concurrency, autoStartup 等其他属性(元数据采集与注册)@Component@OverrideClass<?= null &&!通过巧妙地结合和动态配置中心，我们实现了一个功能极其强大的动态 Kafka 消费管理方案。

IT研究室的博客

09-09

1106

本文介绍了一个基于大数据的国内旅游景点游客数据分析系统。该系统采用Hadoop+Spark分布式架构，结合Python/Java开发语言，通过Django/Spring Boot后端和Vue前端实现全流程旅游数据分析。系统具备五大核心功能模块：游客画像分析、消费行为挖掘、区域市场研究、时序环境分析和景点评估，可处理海量旅游数据并进行多维度的可视化展示。开发环境整合了HDFS、Spark SQL、Pandas等技术栈，使用MySQL存储分析结果。

内存大（巨）页

fpcc的专栏

09-12

447

文章摘要：大页（巨页）是比标准4KB页更大的内存页（如2MB或1GB），用于优化内存管理。随着内存容量增长，传统小页导致页表膨胀、TLB命中率下降等问题。大页通过减少页表层级、提升连续内存访问效率，显著提高性能，尤其适用于数据库、大数据处理、高性能计算等场景。但其分配复杂，可能加剧内存碎片。技术发展推动内存管理演进，未来可能出现更优方案。开发者需持续关注前沿技术动态。（150字）

想拿到ip地址库的离线包

Nothing

09-09

703

如果你只做“中国境内日志 -> 省市”离线解析，纯真社区版无论体积还是精度都够用；想要街道级或风险标签，再考虑商业数据源；任何 IP 库都有边界漂移，记得留好“未知”兜底与灰度观测。

当建筑工程遇上“AI+虚拟仿真”：打开未来工程人才培养的创新之门

恒点虚拟仿真官方博客

09-09

742

虚拟仿真技术助力国际工程管理人才培养。随着一带一路建设推进，海外工程需求激增，传统教学面临实践成本高、文化差异大等瓶颈。AI+虚拟仿真技术构建沉浸式实训场景，通过虚拟仿真技术，模拟海外项目全过程，涵盖招投标、施工管理等环节，同时整合各国法规标准数据库，有效提升学生的跨文化适应能力和实操技能。该模式突破时空限制，为培养复合型国际工程人才提供创新解决方案，精准对接政策要求和市场需求。

探索移动电商app的Spark交互式数据源码

源码是软件开发中最为重要的资产之一，它包含了所有的编程指令和配置信息，通常以文本形式保存，并可以编译或解释执行。 ### 描述知识点： 1. **中华石衫老师的Spark项目：** - **中华石衫老师：** 可能是一个...