RDD，DataFrame，DataSet之间进行互相转换!!（非常重要）

最新推荐文章于 2022-12-11 16:45:54 发布

原创

最新推荐文章于 2022-12-11 16:45:54 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

本文详细介绍了如何在Spark中进行RDD、DataFrame和DataSet之间的相互转换，包括直接转换和通过创建schema、使用case class等方式。通过实例展示了各种转换方法，如RDD到DataFrame的转换，DataFrame到RDD的转换，以及RDD到DataSet和DataSet到RDD的转换等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

转自https://blog.youkuaiyun.com/qq_36235275/article/details/82502352

要求运用的滚瓜烂熟

将RDD，DataFrame，DataSet之间进行互相转换

RDD -》 DataFrame

直接手动转换

scala> val people = spark.read.json("/opt/apps/Spark/spark-2.2.2-bin-hadoop2.7/examples/src/main/resources/people.json")
people: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
scala> val people1 = sc.textFile("/opt/apps/Spark/spark-2.2.2-bin-hadoop2.7/examples/src/main/resources/people.txt")
people1: org.apache.spark.rdd.RDD[String] = /opt/apps/Spark/spark-2.2.2-bin-hadoop2.7/examples/src/main/resources/people.txt MapPartitionsRDD[18] at textFile at <console>:24
scala> val peopleSplit = people1.map{x => val strs = x.split(",");(strs(0),strs(1).trim.toInt)}
peopleSplit: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD[19] at map at <console>:26
scala> peopleSplit.collect

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

reedom1991

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

RDD操作详解（二）键值转换

Running_Tiger的博客

03-07

1732

RDD操作详解（二）键值转换启动spark-shell spark-shell --master spark://node-1:7077 1. partitionBy def partitionBy(partitioner: Partitioner): RDD[(K, V)] 该函数根据partitioner函数生成新的ShuffleRDD，将原RDD重新分区。 sca...

Spark RDD--数据类型转换

江南阁

01-04

9232

将RDD，DataFrame，DataSet之间进行互相转换 RDD -》 DataFrame 直接手动转换 scala> val people = spark.read.json("/opt/apps/Spark/spark-2.2.2-bin-hadoop2.7/examples/src/main/resources/people.json") people: org.ap...

参与评论您还未登录，请先登录后发表或查看评论

Spark的RDD转换算子

m0_67614284的博客

05-04

1176

[](()4. flatMap 函数定义 def flatMap[U: ClassTag](f: T => TraversableOnce[U]): RDD[U] 说明将处理的数据进行扁平化后再进行映射处理，所以算子也称之为扁平映射。案例实操 package com.atguigu.bigdata.spark.core.rdd.operator.transform import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf

(Scala版)Spark Sql RDD/DataFrame/DataSet 相互转换

BurukeYou

09-30

3355

测试数据 // 测试的rdd数据 case class User(name:String, age:Int) val rdd: RDD[(String, Int)] = spark.sparkContext.makeRDD(List(("jayChou",41),("burukeyou",23))) 1、RDD 1.2、与DataSet的互相转换 // 1- RDD[User] ===> DataSet // 带具体类型(User)的RDD内部可通过反射直接转换成 DataSet val

RDD转换为DataSet和DataFrame

不管多累生活也要精致

04-25

1838

1、Spark SQL支持两种将现有rdd转换为Datasets的方法。第一种方法使用反射来推断包含特定类型对象的RDD的schema。在编写Spark应用程序时，如果您已经了解了schema，那么这种基于反射的方法可以产生更简洁的代码。 2、创建Datasets的第二种方法是通过一个编程接口，该接口允许您构造一个schema，然后将它应用到现有的RDD。虽然此方法更加详细，但当列及其类型直到运行时才知道时，它允许您构造Datasets。 1、反射推断 Spark SQL的Scala接口支持将包含case类

Spark中RDD、DataFrame、DataSet的生成与互相转换（非常重要）

蔡政洁的博客

12-05

2517

目录一、RDD的生成二、DataFrame的生成三、DataSet的生成四、RDD和DataFrame的转换（1）RDD转DataFrame方案一：直接将字段名称传入toDF中方案二：通过反射的方式方案三：构造Schema的方式（2）DataFrame转RDD五、RDD和DataSet的转换（1）RDD转DataSet方案一：使用toDS()算子方案二：使用spark.createDataset(rdd)（2）DataSet转RDD六、DataFrame与DataSet的转换（1）DataFrame转Dat

RDD、DataFrame、DataSet的概念、区别联系、相互转换操作

weixin_54064771的博客

12-11

672

RDD 是Spark的核心抽象，即弹性分布式数据集（residenta distributed dataset）。代表一个不可变，可分区，里面元素可并行计算的集合。其具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用 RDD操作进行求值。

RDD、DataFrame、DataSet对比与相互转换

RayfunC的博客

01-30

939

RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 三者的共性 1、RDD、DataFrame、Dataset 全都是 spark 平台下的分布式弹性数据集，为处理超大型数据提供便利 2、三者都有惰性机制，在进行创建、转换，如 map 方法时，不会立即执行，只有在遇到 Action 如 foreach 时，三...

spark: RDD与DataFrame之间的相互转换方法

01-20

DataFrame是一个组织成命名列的数据集。它在概念上等同于关系...在Scala API中，DataFrame只是一个类型别名Dataset[Row]。而在Java API中，用户需要Dataset用来表示DataFrame。在本文档中，我们经常将Scala/Java数据

SparkCore之RDD的转换Value类型

@小刘同学nice

07-29

377

RDD整体上分为Value类型和Key-Value类型 Value类型 map(func)案例作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成需求：创建一个1-10数组的RDD，将所有元素*2形成新的RDD 创建 scala> var source = sc.parallelize(1 to 10) source: org.apache.spark....

spark复习笔记（一）——RDD

luo981695830的博客

04-20

540

RDD编程模型在Spark中，RDD被表示为对象，通过对象上的方法调用对RDD的转换 RDD支持2种操作： 1、transformation 2、action 在spark种几乎所有的transformation操作都是懒执行的 transformation操作并不会立即计算他们的结果，而是记住这个操作当通过一个action来获取结果返回给驱动程序的时候，这些转换操作才开始计算这种设计...

Spark（四）：RDD算子分类。

weixin_34336526的博客

06-03

514

为什么80%的码农都做不了架构师？>>> ...

Spark算子--RDD的基本转换

走向程序的康庄大道

03-14

745

多个RDD合并RDD的合并，按RDD内数据结构的是否相同分为两类。1、合并的多个RDD结构相同涉及的Spark函数有union、intersection、subtract1.1 uniondef union(other: RDD[T]): RDD[T]该函数比较简单，就是将两个RDD进行合并，不去重。1.2 intersectiondef intersection(other: RDD[T]):...

spark编程模型（七）之RDD基础转换操作（Transformation Operation）——randomSplit、glom...

08-11

257

randomSplit(): def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]] 该函数根据weights权重，将一个RDD切分成多个RDD 该权重参数为一个Double数组，第二个参数为random的种子，基本可忽略 randomSplit的结果是一个RD...

Spark之RDD、DataSet、DataFrame转换

zp17834994071的博客

08-16

937

前面已经给大家说过RDD、DataSet、DataFrame三者之间的关系以及区别，各自都有各自的优劣。RDD、DataFrame、Dataset三者有许多共性，有各自适用的场景常常需要在三者之间转换。今天就给大家说说他们直接按的无缝转换。 DataFrame/Dataset转RDD 这个转换很简单，只需要在类型的后面.rdd就可以转换成RDD。如何创建DataFrame/Dataset的方法在前面已经说过在这里就不多说了。 val createDS = spark.createDataset(1 to

RDD DataFrame DataSet 区别和转换

伏虎游侠的博客

01-18

7496

RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。RDD和DataFrameRDD-DataFrame上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数，但Spark框架本身不了解 Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚

Spark_RDD与DataFrame/DataSet 相互转换

迎难而上

05-30

518

参考文章 1.https://blog.youkuaiyun.com/lemonzhaotao/article/details/80296314 2. 这是个比较基本的知识，我们这里整理下 1）RDD 转化为 DataSet / DataFrame 1.通过反射去转化（有限制） 2.通过定义structType去做转化 2) DataFrame / DataSet 转化为 RDD RDD 转化为 DataSet / DataFrame 1.通过反射去转化（有限...

【Spark】RDD、DataFrame、DataSet互相转换（面试重点）

Carroll的博客

06-07

878

在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看：RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)

spark学习笔记（九）——sparkSQL核心编程-DataFrame/DataSet/DF、DS、RDD三者之间的转换关系

qq_55906442的博客

08-09

1951

前言前言Spark SQL可以理解为Spark Core的一种封装，在模型上和上下文环境对象上进行了封装；：用于Spark自己提供的SQL查询；：用于连接Hive的查询。：是Spark最新的SQL查询起始点，是SQLContext和HiveContext的组合，在 SQLContex和HiveContext上可用的API在SparkSession上同样是可以使用的。注：Spark Core首先构建上下文环境对象SparkContext才可以执行应用程序，sparkSQL和spark core类似。.....

rdd dataframe dataset区别

03-16

RDD，DataFrame 和 Dataset 是 Apache Spark 中三种不同的数据抽象。 RDD（Resilient Distributed Datasets）是 Spark 最基本的数据抽象，它是不可变、分布式的数据集合。RDD 具有很高的扩展性，但是 API 相对复杂，不利于开发。 DataFrame 基于 RDD 实现，但是提供了更高级的 API。DataFrame 具有列式存储的数据模型，可以通过 SQL 进行操作，它是面向结构化数据处理的。 Dataset 是 DataFrame 的升级版，它是在 DataFrame 的基础上添加了类型信息。Dataset 的 API 更加友好，支持面向对象编程，可以使用函数式编程的特性。总的来说，在 Spark 中，RDD 是最基本的数据抽象，DataFrame 是面向结构化数据的高级 API，Dataset 则是一种更高级的、面向对象的数据抽象。