SparkSQL系列-5、什么是Dataset？

最新推荐文章于 2025-04-27 18:58:50 发布
最新推荐文章于 2025-04-27 18:58:50 发布
阅读量572 收藏
点赞数
分类专栏： 大数据专栏 文章标签： 大数据 spark java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/l848168/article/details/126343389
版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

传送门：大数据系列文章目录

官方网址：http://spark.apache.org/、 http://spark.apache.org/sql/
在这里插入图片描述

目录

Dataset 是什么

Dataset是在Spark1.6中添加的新的接口，是DataFrame API的一个扩展，是Spark最新的数据
抽象， 结合了RDD和DataFrame的优点。

与RDD相比：保存了更多的描述信息，概念上等同于关系型数据库中的二维表；

了解本专栏 订阅专栏 解锁全文 超级会员免费看
SparkSQL系列-6、外部数据源 DataSource？
不积跬步无以至千里，不积小流无以成江河
08-19 1107
SparkSQL如何读取或者保存到外部数据源？
SparkSQL系列-4、数据处理分析
不积跬步无以至千里，不积小流无以成江河
08-15 1435
SparkSQL系列-4、数据处理分析
SparkSQL——Dataset
m0_56181660的博客
01-17 1145
SparkSQL——Dataset
大数据Spark Dataset
赵广陆
08-24 580
目录1 Dataset 是什么2 对比DataFrame3 RDD、DF与DS转换4 面试题：如何理解RDD、DataFrame和Dataset 1 Dataset 是什么 Dataset是在Spark1.6中添加的新的接口，是DataFrame API的一个扩展，是Spark最新的数据抽象，结合了RDD和DataFrame的优点。 与RDD相比：保存了更多的描述信息，概念上等同于关系型数据库中的二维表； 与DataFrame相比：保存了类型信息，是强类型的，提供了编译时类型检查，调用Dataset的方
Spark SQL核心概念与编程实战：从DataFrame到DataSet的结构化数据处理
最新发布
2502_90677930的博客
04-27 1002
这使得 Spark SQL 得以洞察更多的结构信息，从而对藏于 DataFrame 背后的数据源以及作用于 DataFrame 之上的变换进行了针对性的优化，最终达到大幅提升运行时效率的目标。在 IDEA 中开发程序时，如果需要 RDD 与 DF 或者 DS 之间互相操作，那么需要引入 import spark.implicits._ 这里的 spark 不是 Scala 中的包名，而是创建的 sparkSession 对象的变量名称，所以必 须先创建 SparkSession 对象再导入。
SparkSQL DataSet
Running_Tiger的博客
03-10 1704
SparkSQL DataSet1、概念DataSet是分布式的数据集合。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的转换（map/flatmap/filter）进行多种操作。2、DataFrame、DataSet、RDD的区别假设RDD中
SparkSQL编程之DataSet
ITBOY_ITBOX博客
05-14 279
DataSet Dataset是具有强类型的数据集合，需要提供对应的类型信息。 创建 1）创建一个样例类 scala> case class Person(name: String, age: Long) defined class Person 2）创建DataSet scala> val caseClassDS = Seq(Person("Andy", 32))...
sparksql dataset
weixin_30677617的博客
02-12 145
java 1 /** 2 *2.0之后使用sparksession即可,不需要再去创建sqlcontext 3 *@author Tele 4 * 5 */ 6 public class Demo { 7 private static SparkConf conf = new SparkConf().setAppName("dataframedem...
SparkSQL系列-9、 Maven 依赖
不积跬步无以至千里，不积小流无以成江河
08-22 792
SparkSQL的maven依赖
SparkSQL系列-1、快速入门
不积跬步无以至千里，不积小流无以成江河
08-08 1268
SparkSQL
SparkSQL之DataSet
王傲旗的大数据之路
06-12 614
Dataset是具有强类型的数据集合，需要提供对应的类型信息。 创建一个DataSet吧先 1）创建一个样例类 scala> case class Person(name: String, age: Long) defined class Person 2）创建DataSet scala> val caseClassDS = Seq(Person("Andy", 32)).toDS() caseClassDS: org.apache.spark.sql.Dataset[Person] = [n
Spark SQL编程之DataSet
hu10131013的博客
04-24 1480
DataSet是什么 是Dataframe API的一个扩展，是Spark最新的数据抽象。 具有类型安全检查也具有Dataframe的查询优化特性，API风格更友好 DataSet支持编解码器，当需要访问非堆上的数据时可以避免反序列化整个对象，提升效率 样例类被用来在Dataset中定义数据的结构信息，样例类中每个属性的名称直接映射到DataSet中的字段名称 Dataframe是Dataset的特列，DataFrame=Dataset[Row]，所以可以通..
Spark SQL之Dataset
派大星的博客
09-01 1136
Dataset
Spark SQL中的Dataset
qq_45973211的博客
09-01 1173
Dataset是一个分布式的数据集。
sparkSQL---Dataset讲解
weixin_43866709的博客
03-31 670
在sparkSQL中推出了一个叫做Dataset的数据集，它是对RDD的一个智能的封装。 官方文档中对Dataset的介绍很详细： 接下来我们再来看一下Dataset源码中的说明： /** * A Dataset is a strongly typed collection of domain-specific objects that can be transformed * in par...
【SparkSQL】DataSet、DataFrame 介绍
懂得一千零一种,赋予你失败的方法！
12-17 619
【SparkSQL】DataSet、DataFrame 介绍 目录： 一、DataSet介绍     1.DataSet是什么？     2.DataSet查询方式     3.DataSet底层是什么？     4.DataSet转为同类型的RDD(DataSet.rdd) 二、DataFrame介绍    &nbs
Spark（16）：SparkSQL之DataSet
yang_shibiao的博客
07-07 474
DataSet 是具有强类型的数据集合，需要提供对应的类型信息。
Spark SQL之DataSet简单操作
QYHuiiQ
11-16 834
【代码】Spark SQL之DataSet简单操作。
SparkSQL-Dataset详解
weixin_43862280的博客
11-22 708
/** * 一:SparkSql--dataset * 1.Perple是一个强类型的类 * 2.Dataset中的数据是由结构的，因为People对象中有结构信息，例如字段和字段类型 * 3.Dataset能够将使用类似SQL这样声名结构化查询的形式来查询 * 4.Dataset是一个强类型，并且类型安全的数据容器，并且提供了结构化查询API和类似RDD * 一样的命令式API * * 二:Dataset底层类型 * 即使使用Dataset命令API,执行计划依然会被优
sparkSQL
03-21
### Spark SQL 使用指南 #### 创建 SparkSession Spark 中的所有功能都由 `SparkSession` 类作为入口点。以下是创建一个基础的 `SparkSession` 的方法： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("Spark SQL Example") .config("spark.some.config.option", "some-value") .getOrCreate() // 隐式转换支持，例如将 RDD 转换为 DataFrame import spark.implicits._ ``` 上述代码展示了如何初始化一个 `SparkSession` 实例并配置其名称和选项[^1]。 --- #### 处理 Datasets 和 DataFrames 在 Spark SQL 中，`DataFrame` 是一种分布式的数据结构，类似于关系型数据库中的表。可以通过多种方式加载数据到 DataFrame 或 Dataset 中。以下是一个简单的例子，展示如何读取 CSV 文件并执行查询： ```scala // 加载 CSV 数据 val df = spark.read.format("csv").option("header", "true").load("path/to/csv") // 显示前几行数据 df.show() // 执行简单过滤操作 val filteredDF = df.filter($"age" > 20) // 注册临时视图以便使用 SQL 查询 filteredDF.createOrReplaceTempView("people") // 运行 SQL 查询 val result = spark.sql("SELECT * FROM people WHERE age > 30") result.show() ``` 此部分演示了如何加载外部数据源、应用过滤器以及运行 SQL 查询[^2]。 --- #### 日期时间转换 在实际场景中，经常需要对日期和时间字段进行处理。Spark SQL 提供了一系列内置函数来简化这一过程。常用的函数包括但不限于以下几个： - **to_date**: 将字符串转换为日期类型。 - **to_timestamp**: 将字符串转换为时间戳类型。 - **date_format**: 格式化日期或时间戳。 - **datediff**: 计算两个日期之间的天数差。 下面是一些具体的用法示例： ```sql -- 假设有一个名为 events 的表，其中包含 timestamp 字段 SELECT to_date(timestamp, 'yyyy-MM-dd') AS date_col, to_timestamp(timestamp, 'yyyy-MM-dd HH:mm:ss') AS ts_col, date_format(to_date(timestamp), 'MM/dd/yyyy') AS formatted_date, datediff(current_date(), to_date(timestamp)) AS days_diff FROM events; ``` 这段代码说明了如何利用 Spark SQL 函数完成常见的日期时间转换任务[^3]。 --- #### 控制输出文件数量 当写入大数据集时，默认情况下可能会生成大量小型文件。为了优化性能和管理方便，可以使用合并提示（merge hints），这使得用户能够像在 Dataset API 中那样控制输出分区的数量。具体实现如下所示： ```scala // 合并分区以减少输出文件数量 val repartitionedDF = df.repartition(10) // 设置为 10 个分区 // 写入结果到 HDFS 或其他存储系统 repartitionedDF.write.mode("overwrite").parquet("output/path") ``` 这种方法有助于提高下游系统的效率，并减少了不必要的小文件开销[^4]。 --- ### 总结 以上内容涵盖了 Spark SQL 的核心概念及其典型应用场景，包括创建 `SparkSession`、处理 Datasets/DataFrames、日期时间转换以及调整输出文件大小等方面的知识点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术武器库

一句真诚的谢谢，胜过千言万语

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值