大数据Spark SparkSession的3种创建方式 Scala语言实现

最新推荐文章于 2024-06-15 01:10:26 发布

原创最新推荐文章于 2024-06-15 01:10:26 发布 · 5.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#scala #spark #大数据

Scala 同时被 3 个专栏收录

15 篇文章

订阅专栏

BigData

13 篇文章

订阅专栏

Spark

8 篇文章

订阅专栏

SparkSession是ApacheSpark2.0引入的编程接口，作为Spark应用的入口，用于DataFrame、DataSet和SQLContext的创建及配置。它可以管理Spark环境，包括连接集群和数据处理。文章列举了在Scala中创建SparkSession的五种方法，包括默认配置、指定Master、添加自定义配置、连接远程Spark集群以及启用Hive支持。

1、什么是SparkSession

SparkSession是Apache Spark 2.0版本引入的一个编程接口，用于与Spark进行交互。它是Spark应用程序的入口点，提供了一种方便的方式来创建DataFrame、DataSet和SQLContext等数据结构，并且可以配置各种Spark应用程序的选项。SparkSession还管理了Spark应用程序的运行环境，包括Spark集群的连接，以及将数据加载到内存中进行处理等任务。
2、创建SparkSession的几种方法
在Scala中，创建SparkSession有以下几种方法：
先引入SparkSession类

import org.apache.spark.sql.SparkSession

(1) 使用默认配置创建SparkSession：

val spark = SparkSession.builder().appName("SparkDemo").getOrCreate()

appName用于设置名称

(2) 指定Master和AppName创建SparkSession

val spark = SparkSession.builder()
  .appName("SparkDemo") 
  .master("local[*]")  
  .getOrCreate()

master(“local[*]”) 表示本地运行
(3) 添加自定义配置项创建SparkSession

val spark = SparkSession.builder()
  .appName("SparkDemo")
  .config("spark.driver.allowMultipleContexts", "true")
  .getOrCreate()

(4) 指定Spark集群的连接信息创建SparkSession

val spark = SparkSession.builder()
  .appName("SparkDemo")
  .config("spark.master", "spark://192.168.1.2:7077")
  .getOrCreate()

(5) 操作hive方式

val spark = SparkSession.builder()
  .appName("SparkDemo")
.master("local")
.enableHiveSupport()
.getOrCreate()