Spark(23) -- Spark SQL -- DataSet

最新推荐文章于 2023-09-01 09:47:18 发布
原创 最新推荐文章于 2023-09-01 09:47:18 发布 · 345 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了Spark中的DataSet，作为DataFrame的扩展，DataSet结合了RDD和DataFrame的优点，提供了编译时类型安全和优化的执行计划。文章对比了RDD、DataFrame与DataSet，解释了它们之间的区别，并展示了创建DataSet的不同方式以及它们之间的转换方法。通过对数据结构的理解，阐述了DataFrame的优化和Dataset的类型安全特性，最后总结了RDD、DataFrame和Dataset各自的特点和应用场景。

Dataset是在Spark1.6中添加的新的接口，是DataFrame API的一个扩展，是Spark最新的数据抽象，结合了RDD和DataFrame的优点。

  • 与RDD相比：保存了更多的描述信息，概念上等同于关系型数据库中的二维表；
  • 与DataFrame相比：保存了类型信息，是强类型的，提供了编译时类型检查，调用Dataset的方法先会生成逻辑计划，然后被Spark的优化器进行优化，最终生成物理计划，然后提交到集群中运行；

1. 什么是DataSet

Dataset是一个强类型的特定领域的对象，这种对象可以函数式或者关系操作并行地转换。
在这里插入图片描述
从Spark 2.0开始，DataFrame与Dataset合并，每个Dataset也有一个被称为一个DataFrame的类型化视图，这种DataFrame是Row类型的Dataset，即Dataset[Row]。
在这里插入图片描述
Dataset API是DataFrames的扩展，它提供了一种类型安全的，面向对象的编程接口。它是一个强类型，不可变的对象集合，映射到关系模式。在数据集的核心 API是一个称为编码器的新概念

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Scala | SparkSQL | 创建DataSet | 序列化问题 | UDF与UDAF | 开窗函数
liujiesxs的博客
08-17 1494
SparkSQL笔记
2.Scala读取文件和数据处理，Rdd,DataFrame,DataSet理解
evilfft的博客
07-23 953
Rdd : 算子，或者我们可以将其理解为一个数组(虽然它不是数组)，想象它就像一个长方形的容器，里面就单纯的存储着数据 DataFrame : 将Rdd比作长方形的容器，DataFrame就是多个长方形的容器拼接组成，也就是将rdd加上表格化就是dataframeDataSet :,DataSet有很多的类型，相当于是由rdd经过不同类型组合起来的，其中一种类型就是DataFrame, 及Dataset[Row]=DataFrame三者转换：scala读取Hadoop数据库 scala读取本
sparkSQL---Dataset讲解
weixin_43866709的博客
03-31 701
在sparkSQL中推出了一个叫做Dataset的数据集，它是对RDD的一个智能的封装。 官方文档中对Dataset的介绍很详细： 接下来我们再来看一下Dataset源码中的说明： /** * A Dataset is a strongly typed collection of domain-specific objects that can be transformed * in par...
【十二】Spark SQL DataSets概述
Sid小杰的博客
07-27 353
DataSet是一个分布式的数据集，是spark1.6版本才出来的。它提供RDD中的有点（强类型、lambda表达式、优化SparkSQL执行引擎）。DataFrame中能用的东西大部分在DataSet都能用。DataSet能够通过JVM对象构建出来。DataSet能使用函数表达式（map、flatmap、filter等等）。DataSet API能在Java和Scala中使用。python暂不支...
Spark基础知识22_Spark设计及Spark基本运行原理简介以及与Hadoop的对比
Matrix70的博客
06-08 131
底层整体运行体系伯克利。
spark系列16：DataSet和DataFrame使用详解
涤生大数据
03-18 2428
1.Dataset 的特点 目标 理解Dataset是什么 理解Dataset的特性 Dataset是什么? val spark: SparkSession = new sql.SparkSession.Builder() .appName("hello") .master("local[6]") .getOrCreate() import spark.implicits._ val dataset: Dataset[People] = spark.cre...
精选资源
spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar
06-27
- Spark SQL：用于处理结构化数据，支持SQL查询和DataFrame/Dataset操作。 - Spark Streaming：处理实时数据流，通过微批次处理实现高吞吐量和低延迟。 - MLlib：机器学习库，包含多种算法和实用工具。 - GraphX...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
8. **生态系统**: Spark的生态非常丰富，包括DataFrame/Dataset API、Spark SQL、Spark Streaming、GraphX（图计算）、MLlib（机器学习库）和SparkR（R语言接口）。这些组件可以组合使用，满足各种大数据处理需求。 ...
精选资源
spark-2.4.7-bin-without-hadoop
05-08
在2.4.7版本中，它优化了内存管理，提升了计算性能，增强了SQL查询能力，并且对DataFrame和Dataset API进行了进一步完善，使其更加易用和高效。 Spark 2.4.7 的一大亮点是其DataFrame和Dataset API。DataFrame 提供...
spark-3.1.3-bin-without-hadoop.tgz
05-20
Spark SQL提供了一种SQL接口来操作数据，使得开发人员能够利用熟悉的SQL语法进行数据分析，同时支持DataFrame和Dataset API，增强了类型安全性和性能。 Spark Streaming则构建在RDD之上，通过微批处理实现对实时...
精选资源
spark-2.4.8-bin-hadoop2.7.tgz
10-25
2. **Spark SQL**：支持结构化和半结构化数据处理，可以与Hive、Parquet、JSON等多种数据源进行交互，同时提供了DataFrame和Dataset API，使得SQL和DataFrame/Dataset之间的转换更为方便。 3. **Spark Streaming**：...
Spark：几种给Dataset增加列的方式、Dataset删除列、Dataset替换null列
tianyeshiye
07-25 2134
几种给Dataset增加列的方式 首先创建一个DF对象： scala> spark.version res0: String = 2.2.0.cloudera1 scala> val df = spark.createDataset(Seq(("key1", 23, 1.0), ("key1", 10, 2.0))).toDF("id", "rsrp", "rsrq") df:...
蓝易云：解决scala创建dataset的具体操作步骤
高性价比服务器就选：蓝易云
09-01 330
以上是创建 Dataset 的基本步骤。请注意，需要先创建一个 SparkSession 对象，并定义数据的结构（Schema）。然后，将原始数据转换为 DataFrame，并最终将 DataFrame 转换为 Dataset。现在，你已经成功创建了一个 Dataset。你可以对该 Dataset 进行各种操作，如查询、转换等。希望以上回答对你有所帮助。如果还有其他问题，请随时提问。
SparkSql创建DataSet(Scala语言)
张俊杰 的博客
11-21 1445
DataSet可以通过Scala的序列获取到DataSet,也可以通过RDD转换得到DataSet,也可以通过DataFrame转换得到DataSet. 说明: 在实际使用的时候, 很少用到把序列转换成 DataSet, 更多的是通过RDD来得到DataSet 代码 import org.apache.spark.sql.{Dataset, SparkSession} /** * 定义user实体类 * * @param name * @param age */ case class User
spark scala dataset、dataframe、RDD 、SQL使用
qq_18617299的博客
12-27 720
Dataset[String] to Data[case class] dataset[String] to Dataset[ThrDynamicRowV001] `val ds: Dataset[ThrDynamicRowV001] = spark.read.textFile(inputThrFile).map(row => { val split_str = row.split(",") for (i <- 0 to 13) { if (split_str(i).isEmpt
Spark DataSet 常用Api 汇总
Nice的博客
08-15 1607
Spark DataSet Api 整合 dtypes : 每一列信息 /** * Returns all column names and their data types as an array. * * @group basic * @since 1.6.0 */ def dtypes: Array[(String, String)] = schema.fields.map { field => (field.name, field.dataType
Spark中DataSet的基本使用
weixin_42702831的博客
09-07 2万+
DataSet介绍 使用alt +组合键可以查看相关类型 什么是DataSet DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的...
Spark的Dataset操作(三)-分组，聚合，排序
热门推荐
coding_hello的专栏
07-14 4万+
spark sql的分组聚合操作，包括groupBy, agg, count, max, avg, sort, orderBy等函数示例
使用spark-sql -f 如何创建udf方法
最新发布
12-27
<think>我们正在处理一个关于Spark SQL的问题，用户想了解如何使用`spark-sql -f`命令来创建UDF（用户自定义函数）。根据提供的引用材料，我们可以整合信息来回答这个问题。 首先，引用[3]提到了Spark-SQL教程，其中包含“自定义函数”的部分，这应该是相关的。引用[5]中提到了Spark SQL的一些命令，但主要是关于合并小文件的设置，可能与UDF创建无关。 然而，需要注意的是，提供的引用中并没有直接说明如何使用`spark-sql -f`命令创建UDF。但是，我们可以根据Spark SQL的常规做法和引用中关于DataFrame、DataSet以及SparkSession的信息来推断。 在Spark SQL中，创建UDF通常有两种方式： 1. 使用Scala（或Java/Python）代码注册UDF，然后在SQL查询中使用。 2. 在SQL语句中直接定义临时UDF（使用`TEMPORARY`关键字）。 而`spark-sql -f`命令是用来执行一个SQL脚本文件的。因此，我们可以推测，用户想要的是在SQL脚本文件中编写创建UDF的SQL语句，然后通过`spark-sql -f`命令来执行这个脚本。 在SQL脚本中创建UDF的语法如下（以Hive UDF为例，因为Spark SQL兼容Hive的UDF）： ```sql CREATE TEMPORARY FUNCTION function_name AS 'class_name'; ``` 例如，如果我们有一个UDF类`com.example.MyUDF`，那么在SQL脚本中可以这样写： ```sql CREATE TEMPORARY FUNCTION my_udf AS 'com.example.MyUDF'; ``` 然后，我们可以将这个SQL语句保存到一个文件中，比如`create_udf.sql`，然后使用以下命令执行： ```bash spark-sql -f create_udf.sql ``` 但是，这里需要注意，这个UDF的类必须在Spark的类路径中。通常，我们可以通过`--jars`参数来指定包含该类的jar包。例如： ```bash spark-sql --jars /path/to/udf.jar -f create_udf.sql ``` 另外，引用[1]和[4]提到了DataFrame和DataSet，它们也可以用来注册UDF，但那是通过编程方式（如Scala、Python等），而不是通过`spark-sql -f`命令执行SQL文件的方式。 因此，针对用户的问题，我们可以总结如下： 1. 编写SQL脚本文件（例如`udf_script.sql`），在文件中使用`CREATE TEMPORARY FUNCTION`语句定义UDF。 2. 在启动`spark-sql`时，如果UDF实现类不在默认类路径中，需要使用`--jars`参数指定包含UDF类的jar包。 3. 使用`spark-sql -f udf_script.sql`来执行脚本。 注意：由于是临时函数，它只在当前会话中有效。 如果用户没有提供UDF的实现类，那么需要先编写UDF类并打包成jar。这里我们只讨论如何使用SQL脚本注册，不涉及UDF类的编写。 由于引用中没有直接给出示例，我们根据Spark SQL的文档补充这个回答。 因此，回答如下： </think> ### Spark SQL 使用 `spark-sql -f` 命令创建 UDF 的方法 在 Spark SQL 中，通过 `spark-sql -f` 命令执行 SQL 文件创建 UDF 需遵循以下步骤： #### 1. **编写 SQL 文件定义 UDF** 创建 `.sql` 文件（如 `create_udf.sql`），包含 UDF 注册语句： ```sql -- 注册临时 UDF CREATE TEMPORARY FUNCTION my_udf AS 'com.example.MyUDFClass'; -- 注册永久 UDF (需指定数据库) CREATE FUNCTION my_db.my_permanent_udf AS 'com.example.MyUDFClass'; ``` **说明**： - `my_udf`：自定义函数名 - `com.example.MyUDFClass`：UDF 实现类的全限定名（需提前编译打包） - 使用 `TEMPORARY` 为会话级临时函数，否则为跨会话的永久函数[^3][^4] #### 2. **通过 `spark-sql -f` 执行 SQL 文件** 在命令行运行： ```bash spark-sql \ --jars /path/to/udf.jar \ # 包含UDF实现的JAR包 --files /path/to/create_udf.sql \ -f /path/to/create_udf.sql ``` **关键参数**： - `--jars`：指定 UDF 实现类的依赖 JAR 包 - `-f`：执行 SQL 文件[^3][^5] #### 3. **验证 UDF** 在 SQL 文件中添加验证语句： ```sql -- 创建后立即测试 SELECT my_udf(column) FROM table; ``` #### 完整示例 1. **UDF 类实现**（Scala 示例）： ```scala package com.example class MyUDFClass extends org.apache.spark.sql.expressions.UserDefinedFunction { override def apply(input: Int): Int = input * 2 } ``` 2. **SQL 文件** (`udf_register.sql`)： ```sql CREATE TEMPORARY FUNCTION double_value AS 'com.example.MyUDFClass'; SELECT double_value(10); -- 预期返回20 ``` 3. **执行命令**： ```bash spark-sql --jars udf.jar -f udf_register.sql ``` #### 注意事项 1. **依赖管理**： - UDF 的 JAR 必须包含所有依赖（或用 `--packages` 指定） - 集群环境下需确保 JAR 在所有节点可访问[^3][^4] 2. **函数作用域**： - 临时函数仅当前会话有效 - 永久函数需指定数据库（如 `my_db.func_name`） 3. **Hive 集成**： 若启用 Hive 支持（`enableHiveSupport()`），UDF 会注册到 Hive 元存储[^2] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值