SparkContext初始化--Java篇

任务描述

本关任务：掌握如何实现SparkContext初始化。

相关知识

• SparkConf 是SparkContext的构造参数，储存着Spark相关的配置信息，且必须指定Master(比如Local)和AppName（应用名称），否则会抛出异常；
• SparkContext 是程序执行的入口，一个SparkContext代表一个 Application。

初始化过程的主要核心：

1. 依据SparkConf创建一个Spark执行环境SparkEnv；
2. 创建并初始化Spark UI，方便用户监控，默认端口为 4040；
3. 设置Hadoop相关配置及Executor环境变量；
4. 创建和启动TaskScheduler，DAGScheduler。

初始化方式：

1. SparkConf conf = new SparkConf().setAppName(appName).setMaster(master)
2. JavaSparkConte