SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext

最新推荐文章于 2024-12-15 00:00:00 发布

不急吃口药

最新推荐文章于 2024-12-15 00:00:00 发布

阅读量5k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/huang66666666/article/details/87902369

本文详细介绍了SparkSession如何整合SparkContext、SQLContext、HiveContext和StreamingContext，简化了Spark应用的开发流程。通过示例代码展示了如何使用SparkSession进行配置和创建，以及如何利用其统一接口进行大数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext
参考blog：https://blog.youkuaiyun.com/dufufd/article/details/79088891

1.
SparkContext：
val sparkConf = new SparkConf().setAppName("SparkSessionZipsExample").setMaster("local")
val sc = new SparkContext(sparkConf).set("spark.some.config.option", "some-value")

SparkConf、SparkContext和SQLContext都已经被封装在SparkSession当中。
通过SparkSession来创建SparkContext。
JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());

2.
SqlContext：
在2.0版本之前，使用Spark必须先创建SparkConf和SparkContext，代码如下：

val sparkConf = new SparkConf().setAppName("SparkSessionZipsExample").setMaster("local")
val sc = new SparkContext(sparkConf).set("spark.some.config.option", "some-value")
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

不过在Spark2.0中只要创建一个SparkSession就够了，SparkConf、SparkContext和SQLContext都已经被封装在SparkSession当中。
下面的代码创建了一个SparkSession对象并设置了一些参数。这里使用了生成器模式，只有此“spark”对象不存在时才会创建一个新对象。
SparkSession统一了sqlcontext和hivecontext。

val warehouseLocation = "file:${system:user.dir}/spark-warehouse"
val spark = SparkSession
.builder()
.appName("SparkSessionZipsExample")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate()

spark.conf.set("spark.sql.shuffle.partitions", 6)

3.
StreamingContext：
有两种创建StreamingContext的方式：
val conf = new SparkConf().setAppName(appName).setMaster(master);
val ssc = new StreamingContext(conf, Seconds(1));

StreamingContext，还可以使用已有的SparkContext来创建
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(1));

sparksession创建StreamingContext，把sc换成spark.sparkContext()即可。