Spark SQL常用表达式示例

最新推荐文章于 2024-10-17 16:32:28 发布
最新推荐文章于 2024-10-17 16:32:28 发布
阅读量183 收藏
点赞数
原文链接：http://www.cnblogs.com/wangbinquan/p/9061231.html
版权

Spark SQL常用表达式示例

版权声明：本文为博主原创文章，未经博主允许不得转载。

手动码字不易，请大家尊重劳动成果，谢谢

作者：http://blog.youkuaiyun.com/wang_wbq

本文使用spark-shell来演示我平时常用的一些Spark SQL表达式，来帮助大家更好体会Spark SQL的使用方式。

所有可用函数可以使用这篇文章中的方法进行查看：https://blog.youkuaiyun.com/wang_wbq/article/details/79672012

以下为官方文档中取DataFrame中的其中几列、进行简单运算、过滤、分组合并的示例，以使大家对select、filter、groupBy等方法有个初步的认识。

// This import is needed to use the $-notation
import spark.implicits._
// Print the schema in a tree format
df.printSchema()
// root
// |-- age: long (nullable = true)
// |-- name: string (nullable = true)

// Select only the "name" column
df.select("name").show()
// +-------+
// |   name|
// +-------+
// |Michael|
// |   Andy|
// | Justin|
// +-------+

// Select everybody, but increment the age by 1
df.select($"name", $"age" + 1).show()
// +-------+---------+
// |   name|(age + 1)|
// +-------+---------+
// |Michael|     null|
// |   Andy|       31|
// | Justin|       20|
// +-------+---------+

// Select people older than 21
df.filter($"age" > 21).show()
// +---+----+
// |age|name|
// +---+----+
// | 30|Andy|
// +---+----+

// Count people by age
df.groupBy("age").count().show()
// +----+-----+
// | age|count|
// +----+-----+
// |  19|    1|
// |null|    1|
// |  30|    1|
// +----+-----+

1、字符串过滤

这种方式可以使用SQL查询中的LIKE语法

scala> df.show
+-------+---+
|   name|age|
+-------+---+
|   Mike|  4|
|Michael|  6|
|  Peter|  3|
|   Andy|  5|
+-------+---+


scala> df.filter("like(name, 'M%')").show
+-------+---+
|   name|age|
+-------+---+
|   Mike|  4|
|Michael|  6|
+-------+---+

//较老的版本只支持此种方式
scala> df.filter("name LIKE 'M%'").show
+-------+---+
|   name|age|
+-------+---+
|   Mike|  4|
|Michael|  6|
+-------+---+

2、字符串分割与数组取值

我们可以使用split(str, reg)函数来分割字符串，注意第二个参数是正则表达式

数组取值有两种方式，一种是在字符串表达式中使用[序号]，或者在代码中使用Column类的apply方法(序号)。简而言之就是在字符串里用方括号，在字符串外用圆括号

scala> df.show
+-------------------+-----+
|               time|value|
+-------------------+-----+
|2018-01-01 09:00:00|    1|
|2018-01-01 09:00:00|    2|
|2018-01-01 10:00:00|    3|
|2018-01-03 11:00:00|    4|
|2018-01-01 12:00:00|    5|
|2018-01-06 13:00:00|    6|
|2018-01-09 14:00:00|    7|
|2018-01-08 15:00:00|    8|
|2018-01-02 09:00:00|    1|
|2018-01-02 09:00:00|    2|
|2018-01-03 10:00:00|    3|
|2018-01-07 11:00:00|    4|
|2018-01-06 12:00:00|    5|
|2018-01-09 13:00:00|    6|
|2018-01-04 14:00:00|    7|
|2018-01-02 15:00:00|    8|
+-------------------+-----+

scala> df.select(col("*"), expr("split(time, ' ')[0]").as("day")).show
+-------------------+-----+----------+
|               time|value|       day|
+-------------------+-----+----------+
|2018-01-01 09:00:00|    1|2018-01-01|
|2018-01-01 09:00:00|    2|2018-01-01|
|2018-01-01 10:00:00|    3|2018-01-01|
|2018-01-03 11:00:00|    4|2018-01-03|
|2018-01-01 12:00:00|    5|2018-01-01|
|2018-01-06 13:00:00|    6|2018-01-06|
|2018-01-09 14:00:00|    7|2018-01-09|
|2018-01-08 15:00:00|    8|2018-01-08|
|2018-01-02 09:00:00|    1|2018-01-02|
|2018-01-02 09:00:00|    2|2018-01-02|
|2018-01-03 10:00:00|    3|2018-01-03|
|2018-01-07 11:00:00|    4|2018-01-07|
|2018-01-06 12:00:00|    5|2018-01-06|
|2018-01-09 13:00:00|    6|2018-01-09|
|2018-01-04 14:00:00|    7|2018-01-04|
|2018-01-02 15:00:00|    8|2018-01-02|
+-------------------+-----+----------+


scala> df.select(col("*"), expr("split(time, ' ')")(0).as("day")).show
+-------------------+-----+----------+
|               time|value|       day|
+-------------------+-----+----------+
|2018-01-01 09:00:00|    1|2018-01-01|
|2018-01-01 09:00:00|    2|2018-01-01|
|2018-01-01 10:00:00|    3|2018-01-01|
|2018-01-03 11:00:00|    4|2018-01-03|
|2018-01-01 12:00:00|    5|2018-01-01|
|2018-01-06 13:00:00|    6|2018-01-06|
|2018-01-09 14:00:00|    7|2018-01-09|
|2018-01-08 15:00:00|    8|2018-01-08|
|2018-01-02 09:00:00|    1|2018-01-02|
|2018-01-02 09:00:00|    2|2018-01-02|
|2018-01-03 10:00:00|    3|2018-01-03|
|2018-01-07 11:00:00|    4|2018-01-07|
|2018-01-06 12:00:00|    5|2018-01-06|
|2018-01-09 13:00:00|    6|2018-01-09|
|2018-01-04 14:00:00|    7|2018-01-04|
|2018-01-02 15:00:00|    8|2018-01-02|
+-------------------+-----+----------+

3、字符串替换

字符串替换共有两种方式，regexp_replace与replace。从名字可以看出，regexp_replace是支持正则表达式的，replace是普通字符串替换。

scala> df.show
+-------------------+-----+
|               time|value|
+-------------------+-----+
|2018-01-01 09:00:00|    1|
|2018-01-01 09:00:00|    2|
|2018-01-01 10:00:00|    3|
|2018-01-03 11:00:00|    4|
|2018-01-01 12:00:00|    5|
|2018-01-06 13:00:00|    6|
|2018-01-09 14:00:00|    7|
|2018-01-08 15:00:00|    8|
|2018-01-02 09:00:00|    1|
|2018-01-02 09:00:00|    2|
|2018-01-03 10:00:00|    3|
|2018-01-07 11:00:00|    4|
|2018-01-06 12:00:00|    5|
|2018-01-09 13:00:00|    6|
|2018-01-04 14:00:00|    7|
|2018-01-02 15:00:00|    8|
+-------------------+-----+

scala> df.select(col("*"), expr("regexp_replace(time, '[-: ]', '@')").as("replace")).show
+-------------------+-----+-------------------+
|               time|value|            replace|
+-------------------+-----+-------------------+
|2018-01-01 09:00:00|    1|2018@01@01@09@00@00|
|2018-01-01 09:00:00|    2|2018@01@01@09@00@00|
|2018-01-01 10:00:00|    3|2018@01@01@10@00@00|
|2018-01-03 11:00:00|    4|2018@01@03@11@00@00|
|2018-01-01 12:00:00|    5|2018@01@01@12@00@00|
|2018-01-06 13:00:00|    6|2018@01@06@13@00@00|
|2018-01-09 14:00:00|    7|2018@01@09@14@00@00|
|2018-01-08 15:00:00|    8|2018@01@08@15@00@00|
|2018-01-02 09:00:00|    1|2018@01@02@09@00@00|
|2018-01-02 09:00:00|    2|2018@01@02@09@00@00|
|2018-01-03 10:00:00|    3|2018@01@03@10@00@00|
|2018-01-07 11:00:00|    4|2018@01@07@11@00@00|
|2018-01-06 12:00:00|    5|2018@01@06@12@00@00|
|2018-01-09 13:00:00|    6|2018@01@09@13@00@00|
|2018-01-04 14:00:00|    7|2018@01@04@14@00@00|
|2018-01-02 15:00:00|    8|2018@01@02@15@00@00|
+-------------------+-----+-------------------+


scala> df.select(col("*"), expr("replace(time, ':', '@')").as("replace")).show
+-------------------+-----+-------------------+
|               time|value|            replace|
+-------------------+-----+-------------------+
|2018-01-01 09:00:00|    1|2018-01-01 09@00@00|
|2018-01-01 09:00:00|    2|2018-01-01 09@00@00|
|2018-01-01 10:00:00|    3|2018-01-01 10@00@00|
|2018-01-03 11:00:00|    4|2018-01-03 11@00@00|
|2018-01-01 12:00:00|    5|2018-01-01 12@00@00|
|2018-01-06 13:00:00|    6|2018-01-06 13@00@00|
|2018-01-09 14:00:00|    7|2018-01-09 14@00@00|
|2018-01-08 15:00:00|    8|2018-01-08 15@00@00|
|2018-01-02 09:00:00|    1|2018-01-02 09@00@00|
|2018-01-02 09:00:00|    2|2018-01-02 09@00@00|
|2018-01-03 10:00:00|    3|2018-01-03 10@00@00|
|2018-01-07 11:00:00|    4|2018-01-07 11@00@00|
|2018-01-06 12:00:00|    5|2018-01-06 12@00@00|
|2018-01-09 13:00:00|    6|2018-01-09 13@00@00|
|2018-01-04 14:00:00|    7|2018-01-04 14@00@00|
|2018-01-02 15:00:00|    8|2018-01-02 15@00@00|
+-------------------+-----+-------------------+

scala> df.select(col("*"), expr("regexp_replace(time, '([0-9]{4})-([0-9]{2})-([0-9]{2}) ([0-9]{2}):([0-9]{2}):([0-9]{2})', '$1~$2~$3%$4-$5-$6')").as("replace")).show
+-------------------+-----+-------------------+
|               time|value|            replace|
+-------------------+-----+-------------------+
|2018-01-01 09:00:00|    1|2018~01~01%09-00-00|
|2018-01-01 09:00:00|    2|2018~01~01%09-00-00|
|2018-01-01 10:00:00|    3|2018~01~01%10-00-00|
|2018-01-03 11:00:00|    4|2018~01~03%11-00-00|
|2018-01-01 12:00:00|    5|2018~01~01%12-00-00|
|2018-01-06 13:00:00|    6|2018~01~06%13-00-00|
|2018-01-09 14:00:00|    7|2018~01~09%14-00-00|
|2018-01-08 15:00:00|    8|2018~01~08%15-00-00|
|2018-01-02 09:00:00|    1|2018~01~02%09-00-00|
|2018-01-02 09:00:00|    2|2018~01~02%09-00-00|
|2018-01-03 10:00:00|    3|2018~01~03%10-00-00|
|2018-01-07 11:00:00|    4|2018~01~07%11-00-00|
|2018-01-06 12:00:00|    5|2018~01~06%12-00-00|
|2018-01-09 13:00:00|    6|2018~01~09%13-00-00|
|2018-01-04 14:00:00|    7|2018~01~04%14-00-00|
|2018-01-02 15:00:00|    8|2018~01~02%15-00-00|
+-------------------+-----+-------------------+

4、结构体数据的索引

由于本节较复杂，为了防止篇幅太长影响阅读体验，因此新开了一个博客来介绍：https://blog.youkuaiyun.com/wang_wbq/article/details/79675522

5、集合数据类型的索引

由于本节较复杂，为了防止篇幅太长影响阅读体验，因此新开了一个博客来介绍：https://blog.youkuaiyun.com/wang_wbq/article/details/79678168

未完待续~~~

转载于:https://www.cnblogs.com/wangbinquan/p/9061231.html

TJM2014
关注
《深入浅出Apache Spark》系列⑤：Spark SQL的表达式优化
datacreating的博客
12-16 1121
随着数据量的快速增长，传统的数据处理方法难以满足对计算速度、资源利用率以及查询响应时间的要求。为了应对这些挑战，Spark SQL引入了多种优化技术，以提高查询效率，降低计算开销。本文从表达式层面探讨了Spark SQL的优化手段，重点分析了三个方面。
Spark SQL中的正则表达式应用
一个8年大数据开发工程师的碎碎念
07-09 5269
正则表达式在Spark SQL中是一个强大而versatile的工具,它不仅能够处理文本数据,还能在ETL流程、数据验证、特征工程等多个方面发挥重要作用。然而,使用正则表达式需要在表达能力和性能之间找到平衡。 通过深入理解正则表达式的工作原理,结合Spark SQL的特性,并注意安全性考虑,我们可以更好地利用这一工具来解决复杂的数据处理问题。 掌握和灵活运用正则表达式是数据工程师和数据科学家的重要技能。
SparkSQL HiveSQL 常用正则表达式
ytp552200ytp的博客
12-03 4989
SparkSQL HiveSQL 常用正则表达式 目录 SparkSQL HiveSQL 常用正则表达式 1、匹配汉字： 2、匹配手机号码 3、匹配身份证： 4、SparkSQL HiveSQL 常用正则函数： 5、SparkSQL分组 ...
Spark SQL 表达式计算
05-16
表达式计算在Spark SQL中随处可见，本演讲将简介表达式、UDF、UDAF、UDTF的概念，主要的API，以及如何扩展Spark SQL函数库。本演讲还将提及Catalyst在计划阶段和Project Tungsten在执行层做的优化，以及未来性能提升可能的方向:向量化
SparkSQL匹配正则表达式
最新发布
u012333203的博客
10-17 216
【代码】SparkSQL匹配正则表达式。
SPARK SQL正则表达式
07-28
SPARK SQL中可以使用正则表达式进行字符串处理。其中，可以使用translate函数将单词中的字符进行替换，比使用正则表达式更方便。例如，可以使用translate函数将单词中的L替换为1，E替换为3，T替换为7。示例代码如下...
【spark床头书系列】Spark SQL示例用法所有函数示例权威详解二【建议收藏】
wang2leee的博客
11-26 1102
Spark SQL示例用法所有函数示例权威详解二
Spark SQL内置函数
IT深耕十余载，大道之简
06-01 1726
Apache Spark SQL 提供了一组丰富的内置函数（或称为UDFs，用户定义函数），用于在查询时处理数据。这些函数涵盖了字符串操作、日期/时间处理、数学运算、聚合等多个方面。upper(str)lower(str)trim(str)abs(num)floor(num)ceil(num)sqrt(num)count(*)sum(col)avg(col)min(col)max(col)value1value2value1CASE这只是 Spark SQL 提供的内置函数的一小部分示例。
SparkSQL HiveSQL 常用正则表达式
STCurry30的博客
09-23 2037
hive正则表达式
HiveSQL SparkSQL 正则表达式
ytp552200ytp的博客
01-25 3849
这里对sql常用的一些正则匹配作一些匹配，都是来源别人博客，此处稍作整理和总结。mark一下 1、sql中有like 和 rlike，具体区别 like： %：匹配零个及多个任意字符  _：与任意单字符匹配  []：匹配一个范围  [^]：排除一个范围  ESCAPE  关键字定义转义符  WHERE   ColumnA   LIKE   '%5/%%'   ESCAPE   '/'...
SparkSQL代码生成 - 基本表达式代码生成源码解析
qq_41775852的博客
04-12 1775
文章目录代码生成JavaCode和BlockExprValueExprCodeCodegenContextmutableStatespartitionlnitializationStatementsreferencesaddedFunctions其他方法CodeGeneratorgenerate表达式代码生成实例GeneratePredicatebind（GeneratePredicate）cre...
HiveQL和SparkSQL中的正则
初阳
10-24 5354
hive和spark中的正则
Spark sql RLIKE等正则使用
weixin_48231806的博客
08-05 5323
spark sql 正则说明备忘
SparkSql 正则表达式筛选目标字段含有小写字母的数据
qq_37158326的博客
12-25 1208
SparkSql 正则表达式筛选目标字段含有小写字母的数据 SELECT * FROM Table WHERE COLUMN rlike '[a-z]'
Hql&SparkSql——正则关键字的使用（like、rlike、regexp、regexp_replace、regexp_extract）
热门推荐
qq_41018861的博客
06-05 1万+
文章目录简述正则的通配符简介正则表达式的符号及意义字符簇：各种操作符的运算优先级：Hql、SparkSql支持的正则关键字LIKERLIKEREGEXPREGEXP_REPLACEREGEXP_EXTRACT特别说明 简述 笔者在最近的工作中使用的较为频繁，特此做下总结，最近遇到的某些数据的值十分脏乱，用正则表达式的话会让语句显得特别精简，也可以用各种字符串截取函数嵌套处理（必须要有一定规律），总结一下经常用到的几个。 正则的通配符简介 正则表达式的符号及意义 通配符 意义 \ 做为转义
Spark修炼之道（基础篇）——Linux大数据开发基础：第十五节：基础正则表达式（一)...
weixin_33787529的博客
10-07 204
参考书目：鸟哥的LINUX私房菜基础学习篇（第三版） Linux Shell Scripting Cookbook 本节主要内容 基础正则表达式 1. 基础正则表达式 (1)^行开始符 ^匹配一行的开始，例如’^Spark’ 匹配所有Spark开始的行 //grep -n表示查找到的结...
SparkSQL语法及API
weixin_34129145的博客
05-14 421
2019独角兽企业重金招聘Python工程师标准>>> ...
一步步学spark之一scala条件表达式1.4
Angel、骷髅博客
05-22 537
一步步学spark之一scala条件表达式 1.4 scala条件表达式  if else 使用      上图中可以看出 函数还是有些问题的    定义的时候尽量使用常量不用变量   进行修改             使用 val 好处 ：可以提高效率   val是不可变的，节省了运行时环境审查变量的作用域的所有代码，以检查 f 是否改变。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值