Spark SQL 解析-RDD、DataFrame、Dataset 三者之间转换

最新推荐文章于 2025-06-22 16:18:01 发布

程序员学习圈

最新推荐文章于 2025-06-22 16:18:01 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # Spark 文章标签： scala spark

本文链接：https://blog.youkuaiyun.com/Luomingkui1109/article/details/86172472

本文详细介绍SparkSession作为Spark SQL的统一入口，涵盖其创建、配置及与Hive的集成。深入探讨DataFrame、Dataset和RDD之间的转换方法，包括从RDD到DataFrame的多种途径，如元组转换、反射和编程方式，以及DataFrame与Dataset间的相互转换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.新的起始点SparkSession

在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext，用于连接Hive的查询，SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。SparkSession内部封装了sparkContext，所以计算实际上是由sparkContext完成的。

import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
// For implicit conversions like converting RDDs to DataFrames
import spark.implicits._

SparkSession.builder 用于创建一个SparkSession。

import spark.implicits._的引入是用于将DataFrames隐式转换成RDD，使df能够使用RDD中的方法。

如果需要Hive支持，则需要以下创建语句：

import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.enableHiveSupport()
.getOrCreate()
// For implicit conversions like converting RDDs to DataFrames
import spark.implicits._

2.创建DataFrames

在Spark SQL中SparkSession是创建DataFrames和执行SQL的入口，创建DataFrames有三种方式，一种是可以从一个存在的RDD进行转换，还可以从Hive Table进行查询返回，或者通过Spark的数据源进行创建。

2.1 从Spark数据源进行创建：

1).在HDFS文件系统中创建文件夹（在/opt/module/hadoop-2.7.2目录下执行）
hadoop fs -mkdir -p /user/luomk/source/

2).将本地文件上传到HDFS
hadoop fs -copyFromLocal /opt/module/spark-2.1.1-bin-hadoop2.7/source/employees.json /user/luomk/source/

3).通过集群模式读取HDFS文件
val df=spark.read.json("source/employees.json")
或者
val peopleDF = spark.read.format(