ralph_wren的博客

Spark DAG的生成和Task的提交我们在执行spark任务的时候，可能会好奇任务的执行流程是什么，dag是怎么生成的，task是在哪里启动的，driver和executor是怎么通信的，等等。下面我们通过一个简单的spark wordcount任务，来粗略了解下其中的奥秘。SparkSession的创建我们在开发spark作业的时候，首先会需要创建spark任务的入口类SparkSession的对象：SparkSession spark =SparkSession.builder().ap

本文简要介绍了spark内存中storage和execution内存的获取逻辑,摘取源码部分片段加以分析

本文主要介绍了spark源码提交的流程，从SparkSubmit类main方法跟踪到spark主要实体driver和executor的创建过程，记录了整个过程中比较重要的节点的源码，以及对相关方法的功能实现进行了简要介绍。