- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark DAG的生成和Task的提交，启动，执行源码
Spark DAG的生成和Task的提交我们在执行spark任务的时候，可能会好奇任务的执行流程是什么，dag是怎么生成的，task是在哪里启动的，driver和executor是怎么通信的，等等。下面我们通过一个简单的spark wordcount任务，来粗略了解下其中的奥秘。SparkSession的创建我们在开发spark作业的时候，首先会需要创建spark任务的入口类SparkSession的对象：SparkSession spark =SparkSession.builder().ap
2022-04-07 20:10:12
1799
原创 Spark任务提交源码
本文主要介绍了spark源码提交的流程，从SparkSubmit类main方法跟踪到spark主要实体driver和executor的创建过程，记录了整个过程中比较重要的节点的源码，以及对相关方法的功能实现进行了简要介绍。
2022-03-30 21:25:14
3550
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人