SparkContext初始化过程

最新推荐文章于 2022-07-18 21:58:54 发布
最新推荐文章于 2022-07-18 21:58:54 发布
阅读量333 收藏
点赞数
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hongmofang10/article/details/118373616
版权
本文详细介绍了SparkContext的启动过程，包括读取SparkConf配置、创建SparkEnv、初始化TaskScheduler及DAGScheduler，并启动WebUI等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SparkContext是Spark进行应用开发的主要接口，是Spark上层应用与底层实现的中转站。SparkContext最重要的入参是SparkConf。

步骤一： 读取SparkConf参数配置，进行一些基本的参数值的判断赋值。
在这里插入图片描述
步骤二： 根据SparkConf创建SparkEnv，包含Spark实例运行时候所需要的所有运行时所有环境变量。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
步骤三： 创建TaskScheduler，同时根据Spark运行模式选择 相应的schedulerBackend
在这里插入图片描述
createTaskScheduler最关键一步就是根据master属性判断spark运行模式，从而生成对应的schedulerBackend子类。创建的schedulerBackend子类放到TaskScheduler中，后续任务分发有重要作用。TaskScheduler是schedulerBackend的入参。
在这里插入图片描述
TaskScheduler启动，schedulerBackend也要启动。
在这里插入图片描述
步骤四： 以上一步创建的 TaskScheduler实例为参数，创建DAGScheduler对象。
在这里插入图片描述
步骤五： 启动Web UI

总结如下：
在这里插入图片描述

SparkContext初始化--Java篇
weixin_51439828的博客
04-18 737
/第二步：初始化SparkContext。//第三步：关闭SparkContext。根据提示，在右侧编辑器补充代码，使程序正确运行,输出。//第一步：设置SparkConf。本关任务：掌握如何实现。
SparkContext初始化--Scala篇
最新发布
weixin_51439828的博客
04-18 651
根据提示，在右侧编辑器补充代码，使程序正确运行,输出。//第二步：初始化SparkContext。//第三步：关闭SparkContext。//第一步：设置SparkConf。
SparkContext的初始化
张之海的博客
02-19 1574
SparkContext的初始化步骤如下： 1 创建Spark执行环境SparkEnv 1.2 什么是SparkEnv？ SparkEnv是Spark的执行环境对象，其中包括许多与Executor执行相关的对象，所以SparkEnv存在于需要创建Executor的进程中。那么需要创建Executor的进程有哪些呢？ 在local模式下，Driver进程中会创建Executor。 在local-c...
SparkContext scala初始化篇
m0_56494324的博客
05-04 3028
第一关:sparkcontext初始化 import org.apache.spark.{SparkConf, SparkContext} object Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("educoder").setMaster("local") val sc=new SparkContext(conf) ...
SparkContext初始化
qq_39425845的博客
07-19 1076
一、SparkConf概述 1. SparkContext需要传入SparkConf来进行初始化，用于维护Spark的配置属性； 2. SparkConf内部使用ConcurrentHashMap来维护所有的配置； 3. SparkConf提供的setter方法返回的是this，所有它允许使用链式来设置属性。 二、SparkContext的初始化 1. 复制SparkConf配置
sparkContext之一：sparkContext的初始化分析
weixin_33919941的博客
04-13 243
 Spark源码学习：sparkContext的初始化分析           spark可以运行在本地模式local下，可以运行在yarn和standalone模式下，但是本地程序是通过什么渠道和这些集群交互的呢？那就是sparkContext，他在spark生态系统中的作用不言而喻，绝对是最重要的，整体架构如图所示：         这里我们简单的来剖析一下，sparkContex...
SparkContext初始化详解：SparkEnv的作用与构建
SparkEnv的创建是SparkContext初始化的第一步，它会在Driver进程或Executor进程中进行，具体取决于运行模式： 1. 在local模式下，由于Driver和Executor在同一进程中运行，因此SparkEnv在Driver进程中被创建。 2. 在...
Spark源码解读之SparkContext初始化
Oner.wv的专栏
12-13 8704
SparkContext初始化是Driver应用程序提交执行的前提，这里以local模式来了解SparkContext的初始化过程。 本文以 val conf = new SparkConf().setAppName("mytest").setMaster("local[2]") val sc = new SparkContext(conf) 为例，打开debug模式，然后进行分析。
Spark源码-任务提交流程之-6.1-sparkContext初始化-创建spark driver端执行环境SparkEnv
m0_37817767的博客
07-18 419
spark源码阅读
3，spark源码分析-SparkContext初始化
北方的大数据之路
09-08 740
我们在driver中启动用户线程之后，就进入了用户的Main-class。在样例中，我们首先实例化一个SparkSession, 在sparkSession中初始化SparkContext. SparkContext实例化的过程是一个比较复杂的过程，初始化的东西比较多。包括SparkEnv, spark-history, 心跳，状态追踪，广播，资源/任务调度，底层通信。下图是从网友博客找到的SparkContext包含的比较重要的组件，以下我从SparkContext实例化过程中组件初始化的顺序对各个组
SparkContext 初始化过程源码说明
Small_Ran的博客
07-02 553
本篇主要的目的是阐述 SparkContext 初始化过程中，重要环节源码的逻辑流程的梳理。SparkContext 实例化的过程是一个比较复杂的过程，主要包括SparkEnv、spark-history、心跳检测、状态追踪、广播、资源与任务调度、底层通信等等组件的初始化。本篇文章的主要目的在于：了解 Spark 提交任务底层是怎样将 Task 任务提交至 Executor 中；了解 SparkContext 初始化过程中几个重要的环节。......
SparkContext初始化的核心过程
朱燕琼的博客
04-02 462
1、依据sparkContext的构造方法的参数sparkConf创建一个sparkEnv 2、初始化sparkUI，以便sparkApplication运行时方便用户监控 默认端口4040 3、创建和启动scheduler        创建TaskScheduler，SchedulerBackend        创建BAGScheduler       启动 TaskSchedul
SparkContext初始化的流程(源码)
CyAurora的博客
08-15 1341
【代码】SparkContext初始化的流程(源码)
SparkContext初始化--Java篇 Educoder
weixin_46331685的博客
05-11 2051
import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.SparkConf; import java.util.Arrays; import java.util.List; public class Edu { public static void main(String[] args) { /********** Begin /
spark 源码 ---1-SparkContext-初始化
github_28583061的博客
05-07 352
SparkContext -- v 2.2 Spark的对外接口，代表了与spark 集群交互的连接,负责向调用这提供Spark的各种功能 主要功能： 在集群上，创建RDD,累加器，广播变量等 driver 和 executor都会创建 sparkContext 初始化过程 -- driver 前置条件SparkConf设置： spark.master 必须设置 本...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值