SparkContext初始化的核心过程

最新推荐文章于 2024-04-18 18:01:29 发布
最新推荐文章于 2024-04-18 18:01:29 发布
阅读量469 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： sparkContext
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/feierxiaoyezi/article/details/51042787
本文详细介绍了如何使用SparkContext创建Spark环境，包括初始化SparkUI监控应用、启动Scheduler及Executors，为开发者提供一站式解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、依据sparkContext的构造方法的参数sparkConf创建一个sparkEnv

2、初始化sparkUI，以便sparkApplication运行时方便用户监控 默认端口4040

3、创建和启动scheduler

       创建TaskScheduler，SchedulerBackend

       创建BAGScheduler

      启动 TaskScheduler。BAGScheduler

4、启动Executors

spark源码二：sparkContext初始化之spark的执行环境SparkConf
qq_26138325的博客
06-25 551
SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecu...
SparkContext初始化--Scala篇
weixin_51439828的博客
04-18 658
根据提示，在右侧编辑器补充代码，使程序正确运行,输出。//第二步：初始化SparkContext。//第三步：关闭SparkContext。//第一步：设置SparkConf。
SparkContext初始化过程
hongmofang10的博客
07-01 342
SparkContext是Spark进行应用开发的主要接口，是Spark上层应用与底层实现的中转站。SparkContext最重要的入参是SparkConf。 步骤一： 读取SparkConf参数配置，进行一些基本的参数值的判断赋值。 步骤二： 根据SparkConf创建SparkEnv，包含Spark实例运行时候所需要的所有运行时所有环境变量。 步骤三： 创建TaskScheduler，同时根据Spark运行模式选择 相应的schedulerBackend createTaskSchedul
SparkContext初始化原理剖析
勤学善思 明辨笃行
06-10 622
SparkContext初始化主要就干了三件事：创建TaskScheduler、DAGSCheduler、SparkUI一、TaskScheduler的初始化机制1、首先创建TaskScheduler，调createTaskScheduler（）2、这里会做三件事情：1、创建TaskSchedulerImpl（这个就是我们平时说的TaskScheduler）2、创建SparkDeploySched...
Spark内核解析之(4)SparkContext原理分析
weixin_43520450的博客
09-15 485
在 Spark 中由 SparkContext 负责与集群进行通讯、资源的申请以及任务的分配和监控等。当 Worker 节点中的 Executor 运行完毕 Task 后，Driver 同时负责将SparkContext 关闭。通常也可以使用 SparkContext 来代表驱动程序（Driver）。 下图为SparkContext 与集群交互流程图： SparkContext 是用户通往 Spark 集群的唯一入口，可以用来在 Spark 集群中创建 RDD、累加器和广播变量。SparkContext
Spark源码剖析 - SparkContext的初始化(二)_创建执行环境SparkEnv
Swordfall的博客
07-13 245
2.创建执行环境SparkEnv SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或...
SparkContext初始化--Java篇
weixin_51439828的博客
04-18 750
/第二步：初始化SparkContext。//第三步：关闭SparkContext。根据提示，在右侧编辑器补充代码，使程序正确运行,输出。//第一步：设置SparkConf。本关任务：掌握如何实现。
Spark源码解读之SparkContext初始化
Oner.wv的专栏
12-13 8728
SparkContext初始化是Driver应用程序提交执行的前提，这里以local模式来了解SparkContext的初始化过程。 本文以 val conf = new SparkConf().setAppName("mytest").setMaster("local[2]") val sc = new SparkContext(conf) 为例，打开debug模式，然后进行分析。
SparkContext初始化详解：SparkEnv的作用与构建
SparkEnv的创建是SparkContext初始化的第一步，它会在Driver进程或Executor进程中进行，具体取决于运行模式： 1. 在local模式下，由于Driver和Executor在同一进程中运行，因此SparkEnv在Driver进程中被创建。 2. 在...
第1关：SparkContext初始化
最新发布
03-14
用户提供的引用[2]详细说明了SparkContext初始化的流程，包括TaskSchedule、SchedulerBackend、DAGSchedule等组件的初始化。但在第一关中，可能不需要深入到这些细节，而是关注基础的配置和实例化。 需要确保回答...
spark[源码]-SparkEnv执行环境创建
weixin_33826609的博客
09-04 131
sparkEnv概述 sparkEnv是spark的执行环境，其中包括众多与Executor执行相关的对象。在local模式下Driver会创建Executor,local-cluster部署模式或者Standalone部署模式下worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGr...
创建Spark执行环境SparkEnv
weixin_30772105的博客
03-26 206
SparkDriver 用于提交用户的应用程序， 一、SparkConf 负责SparkContext的配置参数加载， 主要通过ConcurrentHashMap来维护各种`spark.*`的配置属性 class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging with Serializable { ...
Spark-创建执行环境SparkEnv
weixin_41227335的博客
01-10 263
SparkEnv 构造步骤： 1.创建安全管理器SecurityManager： 主要对权限、账号进行设置，若用YARN作为集群管理器，则需要证书生成secret key登录。 2.创建基于Akka的分布式消息系统ActorSystem： Spark使用它来实现并发编程，也用它来发送分布式消息。 Spark1.6后已使用Netty完全替代Akka 3.创建Map任务输出跟踪...
Spark2.2源码剖析——SparkContext初始化及Spark环境创建
Jorocco的博客
01-15 631
  阅读指导：在《Spark2.2——SparkContext概述》一文中，曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。   在Spark中，凡是需要执行任务的地方就需要SparkEnv。在生产环境中，SparkEnv往往运行于不同节点的Executor中。但是由于local模式在本地执行的需要，因此在Driver本地的Executor也需要SparkEnv。Sp...
Spark源码剖析 - SparkContext的初始化(一)
Swordfall的博客
11-20 251
1. SparkContext概述 注意：SparkContext的初始化剖析是基于Spark2.1.0版本的 Spark Driver用于提交用户应用程序，实际可以看作Spark的客户端。了解Spark Driver的初始化，有助于读者理解用户应用程序在客户端的处理过程。 Spark Driver的初始化始终围绕着SparkContext的初始化。SparkContext可以算得上是所有...
SparkContext创建SparkEnv过程描述
博客标题不能为空
08-22 379
1.简介：SparkContext是Spark的驱动器，SparkEnv是Spark的环境，这是创建驱动器环境的过程(其它的还有执行器环境)，说的是创建驱动器环境的关键方法。 2.相关方法： SparkContext.scala文件： 创建的开始： //在SparkContext初始化中，源码第434行。调用createSparkEnv方法创建 //_conf:配置，isLocal...
创建sparkEnv具体步骤
萧念的博客
02-28 421
准备工作 首先会在SparkSubmit在main()方法中执行，然后根据提交的类型调用相应的方法，这里是”Submit”，调用submit()方法，submit()里面进行一些判断后， 使用反射Class.forName(childMainClass, true, loader)，然后调用invoke()方法来调用程序员自己写的类，也就是自己写的程序 步骤 1.创建SparkEnv对象 main...
sparkContext的初始化过程
weixin_30672019的博客
01-17 134
SparkContext 初始化的过程主要的核心：1） 依据 SparkContext 的构造方法中的参数 SparkConf 创建一个SparkEnv2） 初始化，Spark UI，以便 Spark Application 在运行是，方便用户监控，默认端口为 4040实时在线 授课 ， 专业 课程 辅导 http://www.cloudyhadoop.com3） 创建和启动 Schedulera...
spark初步使用
余音丶未散的博客
04-27 602
./spark-shell --master local[2]     #启动一个本地模式的spark应用  2代表的两个线程 启动Hadoop2.x start-dfs.sh start-yarn.sh  stop-dfs.sh  stop-yarn.sh 新建spark项目 scala scala 填名称 一直下一步 File-Project Structure-Artifacts  
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值