Spark(22) -- Spark SQL -- DataFrame常用操作(DSL风格、SQL风格及花式查询汇总)

最新推荐文章于 2024-05-16 19:50:37 发布
原创 最新推荐文章于 2024-05-16 19:50:37 发布 · 848 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了Spark DataFrame的DSL风格和SQL风格操作，包括查看数据、筛选、分组、注册为表等功能。示例展示了如何查看部分字段、过滤条件、统计和查询等操作。

1. DSL风格语法

DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。
下面是一些使用示例

1.1 查看DataFrame当中的数据

查看DataFrame中的内容，通过调用show方法

scala> personDF.show

1.2 查看DataFram当中部分字段的数据

第一种方式查看name字段数据
查看name字段的数据

scala> personDF.select(personDF.col("name")).show

第二种方式查看name字段数据
查看name字段的另一种写法

scala
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark(24) -- Spark SQL -- Spark SQL查询代码实现(scala版)
erainm
10-06 838
1. 编写Spark SQL程序实现RDD转换成DataFrame 2. 花式查询汇总写法 3. 相互转换 4. Spark SQL完成WordCount 5. 编写Spark SQL程序操作HiveContext
spark--使用IDEA开发Spark SQL-★★★★★
qq_46893497的博客
02-22 250
使用IDEA开发Spark SQL-★★★★★准备环境创建/获取DataFrame/DataSet方式1: 样例类添加Schema-★★★★★方式3: 指定StructType添加Schema各种花式查询-★★★★★各种转换 准备环境 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId>
SparkSQL（11）DataFrame基本API的操作-2-(DSL)
小蚯蚓的博客
11-03 1064
1.DataFrame基本操作API （1）casewhen PersonDF.select(PersonDF.col("empName"),PersonDF.col("salary"), when(PersonDF.col("salary") &lt;= 2000,"底薪") .when(PersonDF.col("salary") &gt; 2000 &amp
Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例）
奇迹虎虎的博客
02-23 3217
Spark中SQL与DSL编程风格的使用（附花式查询与单词记数案例），SQL风格先把DataFrame注册成一个临时视图，DSL风格其实就是DataFrame对象调用API的过程。
SparkSQL查询风格SQL与DSL介绍及使用
大数据记录
04-12 1万+
1.两种查询风格 1.1 准备工作 // 1.读取文件 并将文件按照空格切分 var lineRDD=sc.textFile("file:///opt/person.txt").map(_.split(" ")) // 2.定义class单例对象用来保存数据 case class Person(id:Int,name:String,age:Int) // 3.将数据转化为Person类型RDD ...
Spark SQL/DSL
weixin_44133605的博客
05-31 2480
文章目录前言一、SparkSession1、SparkSession介绍2、SparkSession构建3、sql与dsl实现词频统计4、spark开发形式发展二、DataFrame1.dataframe概述2.dataframe编程3、dataframe函数4、Catalyst 优化器5、spark读写外部数据源1、从本地文件系统加载JSON格式数据，保存为Parquet格式：2、加载文本数据和保存数据到文本文件中：3、加载文本JSON格式数据，并保存：4、加载Parquet格式数据包保存数据为Parqu
Spark 的DataFrame常用操作之DSL的风格语法
共勉
05-25 2289
DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。 1、查看DataFrame当中的数据 查看DataFrame中的内容，通过调用show方法 personDF.show 2、查看DataFram当中部分字段的数据 第一种方式查看name字段数据：查看name字段的数据 personDF.select(personDF.col("name")).show 第二种方式查看name字段数据：查看name字段的另一种写法 personDF.select("name").show 第三种方式
SparkSQL的DataFrame两种风格(DSL SQL)常用操作详解
LBJ_小松鼠的博客
01-19 1606
简介: DataFrame提供了两种风格的语法操作,分别是DSL风格语法和SQL语法. DataFrame提供了一个领域特定语言(DSL)来操作结构化数据。 SQL风格语法: 可以将它看作是一个关系型数据表，然后可以通过在程序中使用spark.sql() 来执行SQL语句查询，结果返回一个DataFrame。 Scala代码: import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark
Spark DataFrame的DSL操作
feizuiku0116的博客
11-24 1241
一、show方法 功能：展示DataFrame中的数据，默认展示20条 语法： df.show(参数1，参数2) - 参数1：默认是20，控制展示多少条 - 参数2：是否阶段列，默认只输出20个字符的长度，过长不显示，要显示的话，请填入truncate=True 二、printSchema方法 功能：打印输出df的schema信息 语法 df.printSchema() 三、select 功能：选择DataFrame中的指定列（通过传入参数进行指定） 语法（可传递）：
(转载)Spark sql之DataFrame基本操作
Buevara的博客
08-07 1215
1、创建DataFrame 本文所使用的DataFrame是通过读取mysql数据库获得的，代码如下: val spark = SparkSession .builder() .appName("Spark SQL basic example") .enableHiveSupport() //.config("spark.some.config.op...
Spark-Scala语言实战（18）SQL-DataFrame方法
最新发布
qq_49513817的博客
05-16 3027
这篇文章我会带着大家学习Spark SQL中的DataFrame中show()，selectExpr()，select()，filter()/where，groupBy()，sort()6种方法。了解Spark SQL以及DataFrame。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
sparksql实现多表关联查询
热门推荐
u013013024的博客
11-09 1万+
1.准备数据以json格式为例 student表 {"sid":"S001","sanme":"zhangsan","age":"12","gender":"female"} {"sid":"S002","sanme":"lisi","age":"13","gender":"male"} {"sid":"S003","sanme":"wangwu","age":"14","gender":
大数据学习(二十二) DataFrame
Braylon的博客
02-21 700
文章目录简介DataFrame和RDD区别Datasets ： DF之上的更高级抽象DataFramesSparkSessionDataFrame中使用SQL语句视图 简介 spark SQL部分，DF是很重要的一个操作单位。 DataFrame是组织成命名列的数据集。它在概念上等同于关系数据库中的表，但在底层具有更丰富的优化。DataFrames可以从各种来源构建： 结构化数据文件 hive中...
Spark之DataFrame操作大全
guoliduo的博客
06-27 2100
SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。 可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源.
SparkSql 使用
escaflone的专栏
01-29 6827
炼数成金 课程 SparkSql无需安装， 直接初始化SQLContext即可 //启动spark-shell bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g //RDD演示 val sqlContext= new org.apache.spark.sql.SQLContext(
Spark SQL的总结
2301_77751917的博客
05-16 800
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrames API和Datasets API三种方式实现对结构化数据的处理。
SparkSQL -总结2- 中DSL风格和SQL风格的使用
99滴神
06-19 753
准备工作： 读取文件并转换为DataFrame或DataSet val lineRDD= sc.textFile("hdfs://192.168.1.101:9000/person.txt").map(_.split(" ")) case class Person(id:Int, name:String, age:Int) val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt)) val personDF = pers
SparkSQL的3种Join实现
ZG_24的博客
06-12 550
1. SparkSQL的3种Join实现 1.1. Broadcast Join操作 大家知道，在数据库的常见模型中（比如星型模型或者雪花模型），表一般分为两种：事实表和维度表。维度表一般指固定的、变动较少的表，例如联系人、物品种类等，一般数据有限。而事实表一般记录流水，比如销售清单等，通常随着时间的增长不断膨胀。 因为Join操作是对两个表中key值相同的记录进行连接，在SparkSQL中
大数据Spark电影评分数据分析
赵广陆
08-24 7934
目录1 数据 ETL2 使用 SQL 分析3 使用 DSL 分析4 保存结果数据5 案例完整代码6 Shuffle 分区数目问题 1 数据 ETL 使用电影评分数据进行数据分析，分别使用DSL编程和SQL编程，熟悉数据处理函数及SQL使用，业务需求说明：对电影评分数据进行统分析，获取Top10电影（电影评分平均值最高，并且每个电影被评分的次数大于2000)。数据集ratings.dat总共100万条数据，数据格式如下每行数据各个字段之间使用双冒号分开： 数据处理分析步骤如下： 1. 第一步、读取电影评分
Spark SQL基础教程：常用操作与数据导出
总结来说，本文详细展示了如何在Spark SQL中完成数据的读取、处理、转换和存储，包括基本的命令操作，如数据清洗、排序、数据结构定义以及数据导出，这些都是在大数据处理中常用的基本技能。Spark SQL提供了一种灵活...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值