Spark SQL | DataFrame的各种玩法

#苦行僧

已于 2024-07-15 00:13:54 修改

阅读量985

点赞数 1

分类专栏： # Spark 文章标签： spark 大数据 dataframe sql python

于 2023-06-28 00:16:48 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43646592/article/details/131386509

版权

Spark 专栏收录该内容

7 篇文章 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨Spark SQL中的DataFrame操作，包括从各种数据源创建DataFrame，DataFrame的保存，API交互如类RDD、类Excel和类SQL操作，并介绍了如何与Hive表进行交互。重点讲解了DataFrame的转换、聚合、排序、去重等功能，以及如何通过SQL进行查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

🔥 啦～开始跟着梁云大佬打卡 Spark SQL。

文章目录

1、RDD和DataFrame的对比 + Spark SQL
2、创建DataFrame
3、DataFrame保存成文件
4、DataFrame的API交互
5、DataFrame的SQL交互

✨ 初始化一波所需环境：

import findspark
findspark.init()
import pyspark 
from pyspark.sql import SparkSession

#SparkSQL的许多功能封装在SparkSession的方法接口中
spark = SparkSession.builder \
        .appName

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

#苦行僧

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Spark SQL | DataFrame | 编程练习实践

weixin_43646592的博客

06-28

437

Spark SQL | DataFrame | 编程练习实践

Spark SQL源码解析（二）Antlr4解析Sql并生成树

zzzzMing -大数据/数据分析/数据挖掘

04-23

2695

Spark SQL原理解析前言： Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。可能有童鞋没接触过antlr4这个内容，推荐看看《antlr4权威指南》前四章，看完起码知道antlr4能干嘛。我这里就不多介绍了。这篇...

参与评论您还未登录，请先登录后发表或查看评论

摸鱼大数据——Spark SQL——DataFrame详解一

weixin_65694308的博客

07-07

1351

DataFrame表示的是一个二维的表。二维表，必然存在行、列等表结构描述信息表结构描述信息(元数据Schema): StructType对象字段: StructField对象，可以描述字段名称、字段数据类型、是否可以为空行: Row对象列: Column对象，包含字段名称和字段值在一个StructType对象下，由多个StructField组成，构建成一个完整的元数据信息。

spark DataFrame 的函数|基本操作|集成查询记录

热门推荐

yulijianzhangminmin的专栏

12-13

2万+

DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学

Spark SQL中DataFrame的常用操作

m0_59839948的博客

05-15

1218

DataFrame提供了两种语法风格，即DSL语法和SQL语法风格，两者在功能上并无区别，仅仅是根据用户习惯。 1、DSL风格操作（1）show()：查看DataFrame中的具体内容信息。（2）printSchema():查看DataFrame的Schema信息。（3）select()：查看DataFrame中选取部分列的数据。例：查询name字段的数据用personDF.select(“name”).show代码直接查询。例：对列名进行重命名。例：使用filter(..

spark dataframe常用操作集锦

weixin_41744018的博客

12-07

268

转自：https://blog.youkuaiyun.com/eylier/article/details/109017726

Spark DataFrame常用操作

简之的通向技术之路

09-21

1万+

Spark DataFrame常用操作工作中经常用到Spark SQL和Spark DataFrame，但是官方文档DataFrame API只有接口函数，没有实例，新手用起来不太方便。下面这篇博客总结的很好，基本常用的API都有讲解，而且都有示例，平时使用的时候经常查看，很方便。 Spark-SQL之DataFrame操作大全下面是其中没有包含的内容，工作中比较常用，总结在这里： 1、正则匹...

java sqlparse ast树_Spark SQL源码解析（二）Antlr4解析Sql并生成树

weixin_35261775的博客

02-28

825

Spark SQL原理解析前言：这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。可能有童鞋没接触过antlr4这个内容，推荐看看《antlr4权威指南》前四章，看完起码知道antlr4能干嘛。我这里就不多介绍了。这篇首先先介绍调用spark.sql()时候的流程，再看看antlr4在这个其中的...

Spark中DataFrame的常用操作

weixin_45063703的博客

09-08

729

前言 spark作为分布式计算框架，在工业界占据了比较主流的地位。spark同样也提供了DataFrame供用户使用。本文介绍DataFrame的一些常用操作操作先来简单介绍主程序 json文件 {"name": "nian"} {"name": "li","age": 34} {"name": "qian","age": 24} 代码 scala> import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Spa

我的大数据之旅-Spark SQL DataFrame常用操作

远方·玲玲

10-19

199

package com.fengling.sql import org.apache.spark.SparkConf import org.apache.spark.sql.{DataFrame, SparkSession} import org.slf4j.LoggerFactory case class People(name: String, age: Int) /** * @a...

大数据Spark DataFrame/DataSet常用操作

赵广陆

12-19

5155

目录1 一般操作：查找和过滤1.1 读取数据源1.1.1读取json1.1.2 读取Hive表1.2 取数据列1.3 过滤算子filter(filter等价于where算子)2 聚合操作：groupBy和agg2.1 排序算子sort(sort等价于orderBy)2.2 分组函数groupBy2.2.1 分组计数2.2.2 分组后求最值、平均值、求和的方法2.2.3 分组后，求多个聚合值（最值、平均值等）。使用算子groupBy+agg2.2.4 分组聚合后取别名2.2.5 分组后行转列，使用pivot2

【Spark】DataFrame关于数据常用操作

关于我转生变成程序猿这档事

04-13

676

分别有DSL语法和SQL语法两种风格，本文关于DSL主要介绍了关于查询表中字段，对字段数据进行修改、过滤、分组统计等操作

【极简spark教程】DataFrame常用操作

檐前潜心学种瓜

04-12

4785

DataFrame创建与常用操作，随便什么数据处理都可以轻松创建DataFrame来搞定

200 Spark DataFrame常用操作- SQL风格语法

阿甘兄

08-14

553

如果想使用SQL风格的语法，需要将DataFrame注册成表 personDF.registerTempTable("t_person") //查询年龄最大的前两名 sqlContext.sql("select * from t_person order by age desc limit 2").show //显示表的Schema信息 sqlContext.sql("desc t_pers...

大数据管理技术 Spark SQL DataFrame常见操作

JxufeCarol的博客

05-12

587

参考链接： Spark-SQL之DataFrame操作大全 https://www.cnblogs.com/honey01/p/8065232.html Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 DataFrame对象上Action操作一、show：展示数据以表格的形式在输出中展示jdbcDF中的数据，类似于select * fro

PySpark操作DataFrame常用方法

最新发布

weixin_43322583的博客

08-12

2241

python使用pyspark操作dataframe的常用方法

Spark之DataFrame操作大全

SuperBoy_Liang的博客

07-23

5504

Spark&nbsp;Session中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。一、DataFrame对象的生成　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hiv...

Spark-SQL之DataFrame操作大全

weixin_30355437的博客

10-12

5970

　　Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。　　本文中的代码基于Spark-1.6.2的文档实现。一、DataFrame对象的生成　　Spark-SQL可以以其他RDD对象、parquet文...

Spark之dataframe操作大全

czy的博客

11-11

2697

一、datafram描述 DataFrame 是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。二、datafram特点 1、支持 KB 级到 PB 级得到数据处理 2、支持多种数据格式和存储系统 3、通过 Spark SQL Catalyst 优化器可以进行...

spark(三)： spark sql | dataframe、dataset、rdd转换 | sql练习

03-16

Spark SQL是Spark中的一个模块，它提供了一种基于结构化数据的编程接口。在Spark SQL中，我们可以使用DataFrame、Dataset和RDD等数据结构进行数据转换和处理。 DataFrame是一种以列为基础的数据结构，类似于关系型数据库中的表格。我们可以使用DataFrame API进行数据的筛选、过滤、聚合等操作。 Dataset是Spark 1.6版本中引入的新数据结构，它是DataFrame的类型安全版本。Dataset可以通过编译时检查来避免类型错误，并提供了更好的性能和可读性。 RDD是Spark最基本的数据结构，它是一个弹性分布式数据集。我们可以使用RDD API进行数据的转换和操作，但是相比于DataFrame和Dataset，RDD的性能较低。在Spark SQL中，我们可以使用SQL语句进行数据的查询和处理。通过将DataFrame或Dataset注册为临时表，我们可以使用SQL语句对数据进行操作。最后，我们可以通过练习来熟悉Spark SQL的使用。在练习中，我们可以使用Spark SQL的API或SQL语句对数据进行处理和分析，从而提高我们的编程能力和数据分析能力。