王小二的博客

package Test import java.util import net.minidev.json.JSONObjectimport net.minidev.json.parser.JSONParser import scala.collection.JavaConversions._import scala.collection.mutableimport scala.util.parsing.json.JSON /** * Created by zhanghuayan o

SparkContext每一个Spark应用都是一个SparkContext实例，可以理解为一个SparkContext就是一个spark application的生命周期，一旦SparkContext创建之后，就可以用这个SparkContext来创建RDD、累加器、广播变量，并且可以通过SparkContext访问Spark的服务，运行任务。spark context设置内部服务，并建立与spark执行环境的连接。spark.sparkContext.textFile(path)textFile的