Spark2.3.1 API Dataset

Spark 2.3.1 中的 Dataset API 深入解析
最新推荐文章于 2025-07-16 00:19:09 发布
最新推荐文章于 2025-07-16 00:19:09 发布
阅读量408 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42129080/article/details/81023460
本文介绍了Spark 2.3.1中Dataset的概念，它作为强类型集合，支持函数和关系型操作。DataFrame是Dataset[Row]的实例，转化操作是延迟执行的，由Spark Catalyst Optimizer进行优化。Encoder负责对象到内部类型系统的映射，优化内存管理和计算。主要功能包括基本操作、行动操作、类型转换、无类型转换和流处理。

org.apache.spark.sql.Dataset

1 强类型集合

2 对象可以做函数操作或者关系型操作

3 DataFrame是Row类型的Dataset，即Dataset[Row]

4 转化操作生成新的Dataset，行动操作执行计算并生成结果，是lazy的，只有行动操作才会触发计算

5 Spark Catalyst Optimizer优化计算，将logical plan以并行，分布式的方式优化为optimized physical plan，在Spark SQL Engine上执行，使用explain(true)展开查看execution plan

6 使用Encoder类将对象映射到Spark internal type system，在runtime将对象序列化为binary structure，做内存优化和数据处理优化，使用shcema方法查看数据的internal binary presentation

方法分为6种类型

BasicDatasetFunctions

Actions

Typed transformations

Untyped transformations

Streaming

Ungrouped


[Spark版本更新]--Spark-2.3.1发布说明
欢迎来到我的博客，一起探索代码里的世界！
07-03 1520
2018-09-08 Apache Spark 官方发布了Spark 2.3 的小版本--2.3.1，Release Notes 如下： Sub-task [ SPARK-23706 ] - spark.conf.get（value，default = None）应该在PySpark中产生None [ SPARK-23748 ] - 支持从临时表中选择 [ SPARK-23942 ] - ...
Spark2.0.2API
01-03
spark2.0.2的apidoc scala的，辛苦拉了半天才拉下来
Spark SQL Dataset 常用API 二
Brad_Q1的博客
02-17 372
Transformation Untyped API 前面一篇写了SELECT这个API的一些主要用法，本文打算通过一个SQL示例来展开讲述下Dataset其他常用的Untyped API，比如filter(类似于where),join,groupby 等等。 首先，描述下大概的需求： 表一，描述了一家五口人，有名字，年龄和性别，先在mysql中建表，并且插入数据 create table if ...
DataFrame/Dataset API 详解（以 Spark 3.x 为例）
最新发布
csdn_tom_168的博客
07-16 287
本文详细介绍了Spark 3.x中的DataFrame和Dataset API。DataFrame是分布式列式数据结构，Dataset提供类型安全。文章涵盖创建方式（JSON/CSV/Parquet等）、核心操作（列操作、过滤、聚合、连接、窗口函数）、高级特性（UDF、Catalyst优化器、Tungsten引擎）及性能优化技巧（分区剪枝、谓词下推）。对比RDD API，DataFrame/Dataset具有自动优化、高效序列化等优势。建议优先使用DataFrame API，需要类型安全时用Dataset，
Spark SQL 2.3.0：深入浅出
08-20
Spark SQL 2.3.0：深入浅出，看了下，还行，希望对大家有帮助
Spark2.3.1使用技巧
weixin_34268310的博客
10-09 107
Spark 2.3.1 使用技巧 Spark-SQL 读取JSON文件时反射表头 case class StudentInfo(id:Long,name:String,age:Int) val example = spark.read.json("/data/result.json").as(StudentInfo) example...
SparkSQL编程之DataSet
ITBOY_ITBOX博客
05-14 290
DataSet Dataset是具有强类型的数据集合，需要提供对应的类型信息。 创建 1）创建一个样例类 scala> case class Person(name: String, age: Long) defined class Person 2）创建DataSet scala> val caseClassDS = Seq(Person("Andy", 32))...
spark-2.3.1-bin-hadoop2.7.zip
10-12
2. **Spark SQL**：Spark SQL允许用户使用SQL或者DataFrame/Dataset API来处理结构化和半结构化数据。它与Hive兼容，可以无缝地读取Hive表并进行查询。 3. **Spark Streaming**：提供了一个高级抽象来处理实时数据流...
spark2.3.1-with-hive
09-07
总的来说，Spark 2.3.1 with Hive 的组合为大数据分析提供了强大的工具，通过 DataFrame 和 Dataset API 的使用，简化了数据分析流程，同时利用 Hive 的数据管理和查询能力，提高了数据处理的灵活性和便利性。...
spark-2.3.1-bin-hadoop2.9-without-hive.tgz
02-22
1. **DataFrame和Dataset API增强**：DataFrame和Dataset API是Spark SQL的一部分，提供了强类型的数据抽象，使得开发人员能够以更类型安全的方式进行编程。2.3.1版本中可能包含对这些API的进一步优化和新功能。 2. ...
spark-2.3.1-bin-hadoop2.7.rar
05-06
2. **Spark SQL**：Spark SQL允许用户通过SQL或DataFrame/Dataset API对结构化数据进行处理。它与Hive兼容，可以处理Hive表，并将SQL查询转换为Spark作业。 3. **Spark Streaming**：Spark Streaming处理实时数据流...
spark-2.3.0 api 文档
06-05
spark 2.3.0 api 文档。 Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution graphs. It also supports a rich set of higher-level tools including Spark SQL for SQL and structured data processing, MLlib for machine learning, GraphX for graph processing, and Spark Streaming
spark 2 api 中文文档
csdnbkyhm的博客
01-22 1512
添加链接描述
java spark dataset_由：org.apache.spark.sql.Dataset上的java.lang
weixin_39708557的博客
02-24 313
下面我提供我的代码。我遍历DataFrame，prodRows并为每个product_PK找到了匹配的product_PKs子列表prodRows。numRecProducts = 10var listOfProducts: Map[Long,Array[(Long, Int)]] = Map()prodRows.foreach{ row : Row =>val product_PK = r...
SparkSQL 核心编程（DataSet）
weixin_45417821的博客
11-15 752
文章目录创建 DataSetRDD 转换为 DataSetDataSet 转换为 RDDDataFrame 和 DataSet 转换 DataSet 是具有强类型的数据集合，需要提供对应的类型信息。 创建 DataSet 1） 使用样例类序列创建 DataSet scala> case class Person(name: String, age: Long) defined class Person scala> val caseClassDS = Seq(Person("zhangsan",
Apache SparkSQL DataSet
大数据流浪法师的学习笔记与分享
04-09 203
DataSet 1.通过spark.createDataset创建Dataset person.txt内容： 1 zhangsan 20 2 lisi 29 3 wangwu 25 4 zhaoliu 30 5 tianqi 35 6 kobe 40 val fileRdd = sc.textFile("hdfs://hadoop01:8020/person.txt") val ds1 = s...
Spark SQL中的Dataset
qq_45973211的博客
09-01 1212
Dataset是一个分布式的数据集。
Spark API 全集(1):Spark SQL Dataset & DataFrame API
weixin_34072458的博客
12-09 227
简介 org.apache.spark.sql.Dataset是Spark SQL中核心的类，定义如下： class Dataset[T] extends Serializable 复制代码DataFrame是Dataset[Row]的别名。 本文基于spark2.3.0. 下面是类方法简介。 类方法 Actions collect(): Array[T] 返回一个数组，包含Dataset所有行的...
Spark SQL之DataSet简单操作
QYHuiiQ
11-16 852
【代码】Spark SQL之DataSet简单操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值