Spark---------------sparkContext详解

最新推荐文章于 2025-05-20 20:14:47 发布

leson-xu

最新推荐文章于 2025-05-20 20:14:47 发布

阅读量578

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark sparkContext

本文链接：https://blog.youkuaiyun.com/weixin_43740680/article/details/98233902

大数据专栏收录该内容

60 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细探讨了SparkContext在Spark应用程序中的核心作用，包括与集群资源的交互、Executor的创建与管理。SparkContext的初始化涉及DAGScheduler、TaskScheduler和SchedulerBackend等关键组件。在初始化过程中，它会根据Master的模式创建TaskScheduler，如TaskSchedulerImpl，并通过SparkDeploySchedulerBackend注册应用到Master，启动Executor。理解SparkContext对于深入理解Spark的工作原理至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark简述

sparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。sparkContext与集群资源管理器、work节点交互图如下：

官网对图下面几点说明：
（1）不同的Spark应用程序对应该不同的Executor，这些Executor在整个应用程序执行期间都存在并且Executor中可以采用多线程的方式执行Task。这样做的好处是，各个Spark应用程序的执行是相互隔离的。除Spark应用程序向外部存储系统写数据进行数据交互这种方式外，各Spark应用程序间无法进行数据共享。
（2）Spark对于其使用的集群资源管理器没有感知能力，只要它能对Executor进行申请并通信即可。这意味着不管使用哪种资源管理器，其执行流程都是不变的。这样Spark可以不同的资源管理器进行交互。
（3）Spark应用程序在整个执行过程中要与Executors进行来回通信。
（4）Driver端负责Spark应用程序任务的调度，因此最好Driver应该靠近Worker节点。