Spark(23) -- Spark SQL -- DataSet

最新推荐文章于 2023-09-01 09:47:18 发布
原创 最新推荐文章于 2023-09-01 09:47:18 发布 · 345 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了Spark中的DataSet，作为DataFrame的扩展，DataSet结合了RDD和DataFrame的优点，提供了编译时类型安全和优化的执行计划。文章对比了RDD、DataFrame与DataSet，解释了它们之间的区别，并展示了创建DataSet的不同方式以及它们之间的转换方法。通过对数据结构的理解，阐述了DataFrame的优化和Dataset的类型安全特性，最后总结了RDD、DataFrame和Dataset各自的特点和应用场景。

Dataset是在Spark1.6中添加的新的接口，是DataFrame API的一个扩展，是Spark最新的数据抽象，结合了RDD和DataFrame的优点。

  • 与RDD相比：保存了更多的描述信息，概念上等同于关系型数据库中的二维表；
  • 与DataFrame相比：保存了类型信息，是强类型的，提供了编译时类型检查，调用Dataset的方法先会生成逻辑计划，然后被Spark的优化器进行优化，最终生成物理计划，然后提交到集群中运行；

1. 什么是DataSet

Dataset是一个强类型的特定领域的对象，这种对象可以函数式或者关系操作并行地转换。
在这里插入图片描述
从Spark 2.0开始，DataFrame与Dataset合并，每个Dataset也有一个被称为一个DataFrame的类型化视图，这种DataFrame是Row类型的Dataset，即Dataset[Row]。
在这里插入图片描述
Dataset API是DataFrames的扩展，它提供了一种类型安全的，面向对象的编程接口。它是一个强类型，不可变的对象集合，映射到关系模式。在数据集的核心 API是一个称为编码器的新概念

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Scala | SparkSQL | 创建DataSet | 序列化问题 | UDF与UDAF | 开窗函数
liujiesxs的博客
08-17 1493
SparkSQL笔记
2.Scala读取文件和数据处理，Rdd,DataFrame,DataSet理解
evilfft的博客
07-23 953
Rdd : 算子，或者我们可以将其理解为一个数组(虽然它不是数组)，想象它就像一个长方形的容器，里面就单纯的存储着数据 DataFrame : 将Rdd比作长方形的容器，DataFrame就是多个长方形的容器拼接组成，也就是将rdd加上表格化就是dataframeDataSet :,DataSet有很多的类型，相当于是由rdd经过不同类型组合起来的，其中一种类型就是DataFrame, 及Dataset[Row]=DataFrame三者转换：scala读取Hadoop数据库 scala读取本
sparkSQL---Dataset讲解
weixin_43866709的博客
03-31 701
在sparkSQL中推出了一个叫做Dataset的数据集，它是对RDD的一个智能的封装。 官方文档中对Dataset的介绍很详细： 接下来我们再来看一下Dataset源码中的说明： /** * A Dataset is a strongly typed collection of domain-specific objects that can be transformed * in par...
【十二】Spark SQL DataSets概述
Sid小杰的博客
07-27 353
DataSet是一个分布式的数据集，是spark1.6版本才出来的。它提供RDD中的有点（强类型、lambda表达式、优化SparkSQL执行引擎）。DataFrame中能用的东西大部分在DataSet都能用。DataSet能够通过JVM对象构建出来。DataSet能使用函数表达式（map、flatmap、filter等等）。DataSet API能在Java和Scala中使用。python暂不支...
Spark基础知识22_Spark设计及Spark基本运行原理简介以及与Hadoop的对比
Matrix70的博客
06-08 131
底层整体运行体系伯克利。
spark系列16：DataSet和DataFrame使用详解
涤生大数据
03-18 2428
1.Dataset 的特点 目标 理解Dataset是什么 理解Dataset的特性 Dataset是什么? val spark: SparkSession = new sql.SparkSession.Builder() .appName("hello") .master("local[6]") .getOrCreate() import spark.implicits._ val dataset: Dataset[People] = spark.cre...
精选资源
spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar
06-27
- Spark SQL：用于处理结构化数据，支持SQL查询和DataFrame/Dataset操作。 - Spark Streaming：处理实时数据流，通过微批次处理实现高吞吐量和低延迟。 - MLlib：机器学习库，包含多种算法和实用工具。 - GraphX...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
8. **生态系统**: Spark的生态非常丰富，包括DataFrame/Dataset API、Spark SQL、Spark Streaming、GraphX（图计算）、MLlib（机器学习库）和SparkR（R语言接口）。这些组件可以组合使用，满足各种大数据处理需求。 ...
精选资源
spark-2.4.7-bin-without-hadoop
05-08
在2.4.7版本中，它优化了内存管理，提升了计算性能，增强了SQL查询能力，并且对DataFrame和Dataset API进行了进一步完善，使其更加易用和高效。 Spark 2.4.7 的一大亮点是其DataFrame和Dataset API。DataFrame 提供...
spark-3.1.3-bin-without-hadoop.tgz
05-20
Spark SQL提供了一种SQL接口来操作数据，使得开发人员能够利用熟悉的SQL语法进行数据分析，同时支持DataFrame和Dataset API，增强了类型安全性和性能。 Spark Streaming则构建在RDD之上，通过微批处理实现对实时...
精选资源
spark-2.4.8-bin-hadoop2.7.tgz
10-25
2. **Spark SQL**：支持结构化和半结构化数据处理，可以与Hive、Parquet、JSON等多种数据源进行交互，同时提供了DataFrame和Dataset API，使得SQL和DataFrame/Dataset之间的转换更为方便。 3. **Spark Streaming**：...
Spark：几种给Dataset增加列的方式、Dataset删除列、Dataset替换null列
tianyeshiye
07-25 2134
几种给Dataset增加列的方式 首先创建一个DF对象： scala> spark.version res0: String = 2.2.0.cloudera1 scala> val df = spark.createDataset(Seq(("key1", 23, 1.0), ("key1", 10, 2.0))).toDF("id", "rsrp", "rsrq") df:...
蓝易云：解决scala创建dataset的具体操作步骤
高性价比服务器就选：蓝易云
09-01 330
以上是创建 Dataset 的基本步骤。请注意，需要先创建一个 SparkSession 对象，并定义数据的结构（Schema）。然后，将原始数据转换为 DataFrame，并最终将 DataFrame 转换为 Dataset。现在，你已经成功创建了一个 Dataset。你可以对该 Dataset 进行各种操作，如查询、转换等。希望以上回答对你有所帮助。如果还有其他问题，请随时提问。
SparkSql创建DataSet(Scala语言)
张俊杰 的博客
11-21 1445
DataSet可以通过Scala的序列获取到DataSet,也可以通过RDD转换得到DataSet,也可以通过DataFrame转换得到DataSet. 说明: 在实际使用的时候, 很少用到把序列转换成 DataSet, 更多的是通过RDD来得到DataSet 代码 import org.apache.spark.sql.{Dataset, SparkSession} /** * 定义user实体类 * * @param name * @param age */ case class User
spark scala dataset、dataframe、RDD 、SQL使用
qq_18617299的博客
12-27 720
Dataset[String] to Data[case class] dataset[String] to Dataset[ThrDynamicRowV001] `val ds: Dataset[ThrDynamicRowV001] = spark.read.textFile(inputThrFile).map(row => { val split_str = row.split(",") for (i <- 0 to 13) { if (split_str(i).isEmpt
Spark DataSet 常用Api 汇总
Nice的博客
08-15 1607
Spark DataSet Api 整合 dtypes : 每一列信息 /** * Returns all column names and their data types as an array. * * @group basic * @since 1.6.0 */ def dtypes: Array[(String, String)] = schema.fields.map { field => (field.name, field.dataType
Spark中DataSet的基本使用
weixin_42702831的博客
09-07 2万+
DataSet介绍 使用alt +组合键可以查看相关类型 什么是DataSet DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的...
Spark的Dataset操作(三)-分组，聚合，排序
热门推荐
coding_hello的专栏
07-14 4万+
spark sql的分组聚合操作，包括groupBy, agg, count, max, avg, sort, orderBy等函数示例
使用spark-sql -f 如何创建udf方法
最新发布
12-27
但是，我们可以根据Spark SQL的常规做法和引用中关于DataFrame、DataSet以及SparkSession的信息来推断。 在Spark SQL中，创建UDF通常有两种方式： 1. 使用Scala（或Java/Python）代码注册UDF，然后在SQL查询中使用...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值