Yuan_CSDF的博客

1. ShuffleManager发展概述 在Spark的源码中，负责shuffle过程的执行、计算和处理的组件主要就是ShuffleManager，也即shuffle管理器。而随着Spark的版本的发展，ShuffleManager也在不断迭代，变得越来越先进。 在Spark1.2以前，默认的shuffle计算引擎是HashShuffleManager。该ShuffleManager而HashShuffleManager有着一个非常严重的弊端，就是会产生大量的中间磁盘文...

这里以org.apache.spark.examples.SparkPi为例。当执行reduce(_+_)方法时，其底层调用了sc.runJob方法。核心代码如下： /** * 注释：(rdd, func, partitions, callSite, resultHandler, properties) * 1、应用程序调用 action 算子 * 2、sparkContext.runJob() * 3、dagScheduler.runJob() * ...

1.RpcServer类： object RpcServerTest { def main(args: Array[String]): Unit = { val conf = new SparkConf() val sparkSession = SparkSession .builder() .config(conf) .master("local[*]") .appName("test rpc").getOrCreate()

1.client向master注册 在ClientEndpoint启动成功后，会想master注册APP消息。在StandaloneAppClient的onStart()方法中执行registerWithMaster(1)-->registerMasterFutures.set(tryRegisterAllMasters())。在tryRegisterAllMasters方法中内部使用Endpoint进行注册通信。当Master接收到消息。如下代码，核心代码为 schedule()。 /**..

111

通过学习Spark源码为了更深入的了解Spark。主要按照以下流程进行Spark的源码分析，包含了Spark集群的启动以及任务提交的执行流程： Spark RPC分析 start-all.sh Master启动分析 Work启动分析 spark-submit.sh脚本分析 SparkSubmit分析 SparkContext初始化 5.spark-submit.sh脚本分析 通过spark-submit.sh提交任务，查看详细信息，如下： set CLASS=org.apache.spa

通过学习Spark源码为了更深入的了解Spark。主要按照以下流程进行Spark的源码分析，包含了Spark集群的启动以及任务提交的执行流程： Spark RPC分析 start-all.sh Master启动分析 Work启动分析 spark-submit.sh脚本分析 SparkSubmit分析 SparkContext初始化 2.start-all.sh 源码分析，我这里使用的Spark版本是Spark2.4.7。使用scala版本是Scala2.11。 1.start-all.sh

通过学习Spark源码为了更深入的了解Spark。主要按照以下流程进行Spark的源码分析，包含了Spark集群的启动以及任务提交的执行流程： Spark RPC分析 start-all.sh Master启动分析 Work启动分析 spark-submit.sh脚本分析 SparkSubmit分析 SparkContext初始化 1.Spark RPC分析 1.1.概述 了解Spark分布式集群的执行流程，那就不得不从Spark的网络通信说起，例如： driver和master的通信，