Spark任务执行流程源码领读

最新推荐文章于 2025-04-28 19:57:28 发布
最新推荐文章于 2025-04-28 19:57:28 发布
阅读量137 收藏
点赞数
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HanJuly9569/article/details/115057275
版权

个人总结，以官网为准
如有错误，欢迎指出

在这里插入图片描述

流程

  • CoarseGrainedExecutorBackend 受到启动任务的请求，并将任务反序列化给excutor
  • Excutor将任务描述放到TaskRunner，然后放入线程池中
  • 线程启动后，首先想driver端发送任务状态
  • 并拉取jar等依赖
  • 调用Task的run方法执行（ShuffleMapTask,ResultTask）

主要代码

在这里插入图片描述

【Nacos无压力源码领读】(二) 集成 LoadBalancer 与 OpenFeign
wdx7770的博客
08-07 1514
上一篇文章中, 详细介绍了 Nacos 注册中心的原理, 相信看完后, 大家应该完全掌握了 Nacos 客户端是如何自动进行服务注册的, 以及 Nacos 客户端是如何订阅服务实例信息的, 以及 Nacos 服务器是如何处理客户端的注册和订阅请求的;本文承上启下, 在订阅服务实例的基础上, 介绍如何在实例之间进行选择, 实现负载均衡;并详细介绍了负载均衡组件 LocaBanlancer 和函数式调用组件 OpenFeign 是如何与 Nacos 注册中心进行集成的;
【Nacos无压力源码领读】(一) Nacos 服务注册与订阅原理
wdx7770的博客
08-07 1020
本文将详细介绍 Nacos 客户端在启动时进行自动注册原理, 以及Nacos服务器是如何处理客户端的注册与订阅请求的;本文会附带源码解读, 但不会死抠每一行代码, 主要是梳理整个流程, 过程中的关键步骤, 都会由思维导图的形式展现出来;
Spark任务切割提交源码领读
HanJuly9569的博客
03-21 230
概述 RDD的action算子触发SparkContext的runjob 然后触发DAG的runjob方法 DAG执行提交job方法，并递归切割stage DAG将任务提交给TaskSchedulerImpl TaskSchedulerImpl与CoarseGrainedSchedulerBackend等协同将任务封装为TaskSetManger，并请求资源， TaskSchedulerImpl封装任务为TaskDesc并序列化发送给Excutor 总结： 重要的几个类及其作用： DAGSchedu.
Spark提交流程源码领读
HanJuly9569的博客
03-17 187
Spark提交流程源码领读 从上图一步步来解析 通过SparkSubmit的脚本使用submit触发 doSubmit(arg[]) 然后自己调用submit(args: SparkSubmitArguments, uninitLog: Boolean), prepareSubmitEnvironment 它主要是使用从前两步解析的参数，选择对应的启动类，启动类不一定是我们写的主类。准备一些后面需要用到参数childArgs，childClasspath，sparkConf 比如yarn模
Spark Shuffle源码领读
HanJuly9569的博客
03-23 171
个人总结，以官网为准 如有错误，欢迎指出 主要步骤： 在excutor线程池里执行ShuffleMapTask时，触发ShufflRdd的compute函数 ShuffleRdd 使用BlockStoreShuffleReader 给SortShuffleWriter返回一个迭代器。 -SortShuffleWriter 间接通过 ExternalSorter 调用迭代器的next函数开始获取shuffle前一步的数据 ShuffleBlockFetcherIterator 在初始化的时候，先区分出.
我的文章目录
HanJuly9569的博客
03-14 1552
Spark目录 Spark任务提交流程 Spark内存管理 Spark Shuffle Spark通讯机制 SparkSql解析过程 Kafka Kafka 解决了什么问题 生产者原理 Kafka 存储机制 Leader的选举及副本同步机制 Kafka HW及Epoch Kafka幂等性及事务 Hbase Hbase写入流程 Hbase读取数据流程 Hbase在内存读取数据的原理 Hbase在文件中扫描数据的原理 Hbase LSM树与Bloom过滤器 Hbase Flush机制流程 Hbase
水墨风仿网易蜗牛读书领读的微信小程序页面源码.zip
11-28
水墨风仿网易蜗牛读书领读的微信小程序页面源码，是一套模仿网易蜗牛读书领读功能的微信小程序界面设计和功能实现代码。网易蜗牛读书是一款深受用户喜爱的阅读类应用程序，其领读功能是该应用的特色之一，它为用户...
【Nacos无压力源码领读】(二) 集成 LoadBanlancer 与 OpenFeign
cnzzs的博客
08-07 1048
上一篇文章中, 详细介绍了 Nacos 注册中心的原理, 相信看完后, 大家应该完全掌握了 Nacos 客户端是如何自动进行服务注册的, 以及 Nacos 客户端是如何订阅服务实例信息的, 以及 Nacos 服务器是如何处理客户端的注册和订阅请求的;本文承上启下, 在订阅服务实例的基础上, 介绍如何在实例之间进行选择, 实...
【Nacos无压力源码领读】(三) Nacos 配置中心与热更新原理详解超详细解读
wdx7770的博客
08-07 1499
本文将从 Nacos 配置中心的基本使用入手, 详细介绍 Nacos 客户端发布配置, 拉取配置, 订阅配置的过程以及服务器对应的处理过程;配置订阅以及热更新原理相关的部分, 我看了主流的博客网站, 绝对没有比这更详细的讲解;
PySpark数据透视表操作指南
m0_63322122的博客
04-28 309
在 PySpark 中，可以使用pivot()方法实现类似 Excel 数据透视表的功能。
如何在idea中写spark程序
最新发布
rylshe1314的博客
04-28 879
如果一切配置正确，程序将执行 WordCount 任务，并将结果保存到指定的输出路径。下载并安装 IntelliJ IDEA（推荐使用 Community 版本，对于大多数 Spark 开发需求已经足够）。如果需要使用其他 Spark 组件（如 Spark Streaming、MLlib 等），请在。如果使用集群运行，确保集群的 Spark 和 Hadoop 版本与项目依赖一致。确保本地环境（如 Java、Scala、Maven）已正确安装并配置。在弹出的运行配置窗口中，确保。）、项目位置等信息，点击。
搭建spark-local模式
2402_87129093的博客
04-26 309
1. 下载Spark安装包：访问Spark官方网站（https://spark.apache.org/downloads.html），选择合适的版本进行下载，比如可以下载预编译好的适用于Hadoop的版本，下载后解压到指定目录，如 /opt/spark。在Windows系统上，操作步骤类似，但环境变量的配置方式有所不同，你需要在系统的环境变量设置中添加 SPARK_HOME 和将 %SPARK_HOME%\bin 添加到 Path 变量中。
启动命令汇总（Redis / Kafka / Flume / Spark）
qq_41767061的博客
04-26 595
顺序启动项说明1Redis服务器支持缓存2Zookeeper支持Kafka协调3Kafka服务器支持消息通信4创建 Kafka Topiclog 和 recommender5采集日志到Kafka6处理log并写入recommender7监听recommender，实时处理8测试Kafka生产者发送一条模拟数据验证。
如何搭建spark yarn模式的集群
2301_82118291的博客
04-28 1043
搭建 Spark on YARN 模式的集群需要完成 Hadoop 和 Spark 的安装与配置，并确保它们能够协同工作。
如何搭建spark yarn 模式的集群集群
2401_82366115的博客
04-28 449
这里指定了驱动器内存大小为 1GB (`--driver-memory`) ，每个执行者分配同样容量(`--executor-memory`)加上单核 CPU 处理能力(`--executor-cores`). 参数后面跟着的是 JAR 文件位置连同其主入口函数参数值.其中 `<namenode-host>` 是 HDFS NameNode 的主机名，而 `<history-server-host>` 则是 Spark History Server 所在的主机名称。#### 2. 下载与解压 Spark。
搭建 Spark YARN 模式集群指南
2301_80870395的博客
04-28 1023
搭建 Spark YARN 模式集群为处理大规模大数据提供了强大的支持。通过合理的配置和优化，可以充分发挥 Spark 和 YARN 的优势，实现高效、稳定的数据处理。在实际应用中，不断探索和尝试新的配置策略和优化方法，以适应不断变化的业务需求。同时，随着技术的发展，关注 Spark 和 YARN 的最新动态，及时引入新的特性和功能，进一步提升集群的性能和可靠性。如果你在搭建过程中遇到任何问题，可以参考 Spark 和 Hadoop 的官方文档，或者在相关的技术社区寻求帮助。
Spark读取Apollo配置
zl
04-25 218
在spark的提交命令中，增加如上两行，即可实现spark从apollo配置中心中读取自己的数据。
flume整合Kafka和spark-streaming核心编程
2402_88408747的博客
04-25 729
需求1：利用flume监控某目录中新生成的文件，将监控到的变更数据发送给kafka，kafka将收到的数据打印到控制台：1.查看topic2.编辑flume-Kafka.conf，并启动flume3.启动Kafka消费者4.新增测试数据5.查看Kafka消费者控制台需求2：Kafka生产者生成的数据利用Flume进行采集，将采集到的数据打印到Flume的控制台上。1编辑kafka-flume.conf，并启动flume2.启动Kafka生产者，并在生产者种写入数据。
单词领读视频教程压缩包
资源摘要信息:"单词领读视频-1.zip" 文件标题和描述均提示，这是一个关于“单词领读视频”的压缩包文件，文件名中不包含其他具体标签信息。从文件名称列表中我们可以得知，该压缩包内部可能包含了一个或多个视频...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值