【Spark内核源码】SparkConf，Spark的配置管控

目录

概述

从系统中获取并设置配置信息

使用SparkConf提供的方法设置配置信息

通过克隆的方式设置配置信息

 总结

---

概述

SparkConf，以KEY-VALUE对的形式设置Spark的配置参数。我们编写Spark应用程序时，也会先创建SparkConf，并配置一些参数，再传递给SparkContext。下面试对SparkConf的源码进行的分析。

SparkConf位于Spark Core中的org.apache.spark包下。分别继承了Cloneable、Logging和Serializable。

SparkConf分别实现了一个有参和无参的构造方法，这个参数loadDefaults是布尔类型的，控制SparkConf是否从系统中获取以“spark”开头的配置参数。无参构造方法，默认loadDefaults=true

SparkConf所有的配置信息都是以KEY-VALUE对的形式存储在settings中，key、value都是String类型的。

SparkConf又是如何向settings中put数据的呢？下面就是put数据的核心代码，并不难理解。

Spark的配置通过三种方式获取：

1. 系统参数中以“spark