SparkConf加载和SparkContext创建（源码剖析）

最新推荐文章于 2024-01-13 20:11:07 发布

lss~

最新推荐文章于 2024-01-13 20:11:07 发布

阅读量849

点赞数 1

分类专栏： spark hadoop 文章标签： spark hadoop hive

本文链接：https://blog.youkuaiyun.com/qq_45763007/article/details/108471910

版权

本文详细解析了SparkConf的创建过程，包括其内部的ConcurrentHashMap和加载系统属性。接着介绍了SparkContext的构造，涉及到CallSite对象、ActorSystem、MapOutputTracker、ShuffleManager、BlockManager等关键组件的初始化。特别是对SparkContext允许多个实例的讨论，以及在不同场景下的配置和作用。此外，还探讨了SparkEnv的创建，如安全管理、ActorSystem以及ShuffleMemoryManager的内存管理机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark的源码阅读之旅，是相当痛苦的，也许有大量的看不懂，但是每天一个方法，一点点看，相信总归会有极大地提高的。那么下面开始：

创建sparkConf对象，那么究竟它干了什么了类,从代码层面，我们可以看到我们需要setMaster啊，setAppName啊，set blabla啊。。。等等~

val sparkConf = new SparkConf().setMaster(“local”).setAppName(“TopActiveLocations”).set(“spark.executor.memory”, “3g”)

那么我们就一点一点看一下,SparkConf是怎么实现的：

class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging {
   

  import SparkConf._

  /** Create a SparkConf that loads defaults from system properties and the classpath */
  def this() = this(true)

  private val settings = new ConcurrentHashMap[String, String]()

  if (loadDefaults) {
   
    // Load any spark.* system properties
    for ((key, value) <- Utils.getSystemProperties if key.startsWith("spark.")) {
   
      set(key, value)
    }
  }
　　　　/** Set a configuration variable. */  　　def set(key: String, value: String): SparkConf