yyoc97的专栏

文章目录前言样例runJob前言上一节 我们看完了集群资源的分配及Executor启动，今天我们就来看下RDD的实际执行流程吧。默认大家已经知道spark中action和transformation两类算子的概念。样例def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local...

文章目录回顾RegisterApplicationstartExecutorsOnWorkers回顾上一节 我们简单看了下application的注册过程，今天我们接着看下spark里核心设计之一的资源分配实现。RegisterApplicationMaster在收到消息后调用receive() 方法，根据消息类型找到注册application的实现部分。case RegisterApp...

文章目录回顾创建client调用onStart()注册application回顾上一节我们讲了SparkContext构造函数做的初始化，会创建TaskScheduler和DAGScheduler两个重要对象，TaskScheduler又会通过StandaloneSchedulerBackend构建Driver和client。这节我们接着看下client是如何进行注册的。 client = ...

文章目录SparkContextTaskScheduler的实现SPIscheduler.start()SparkContext上一节我们介绍了spark-sumbit方式的任务提交。讲到了SparkContext初始化这里。我们都知道sc是spark应用最为核心的对象，那么今天我们就来看看它是如何进行初始化的。我们通过new SparkContext(conf) 方法进入源码。// 它是S...

文章目录前言提交任务流程分析前言本系列文章默认您对spark有相应的了解。笔者选择的spark版本为2.2.0，不同版本可能又些许差异。提交任务流程分析1、首先我们先集群提交任务，会调用spark-submit 这个脚本。我找到spark安装目录下的/bin目录下。查看下其内容。if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0...