Spark基础学习笔记29：Spark SQL内置函数

已于 2022-05-14 08:32:58 修改
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark基础学习笔记（2） 文章标签： spark 自定义函数 自定义聚合函数 开窗函数
于 2022-05-13 22:15:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/124759297
本文详细介绍了Spark SQL的内置函数，包括10类函数的使用方式，通过编程和SQL语句演示了如何使用upper()等函数。此外，还探讨了自定义函数（UDF）和自定义聚合函数（UDAF）的创建和应用，例如实现手机号保密和员工平均工资计算。最后，讲解了开窗函数的概念，如何进行分组和排序，以及在实际案例中如何统计每个类别销售额的前3名。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、本讲学习目标

  1. 了解Spark SQL内置函数
  2. 学会使用自定义函数
  3. 学会自定义聚合函数
  4. 学会使用开窗函数

一、Spark SQL内置函数

（一）内置函数概述

1、10类内置函数

  • Spark SQL内置了大量的函数，位于API org.apache.spark.sql.functions中。这些函数主要分为10类：UDF函数、聚合函数、日期函数、排序函数、非聚合函数、数学函数、混杂函数、窗口函数、字符串函数、集合函数，大部分函数与Hive中相同。

2、两种使用方式

  • 使用内置函数有两种方式：一种是通过编程的方式使用；另一种是在SQL语句中使用。

（二）内置函数演示

  • 读取HDFS上的people.json，得到数据帧，执行命令：val peopleDF = spark.read.json("hdfs://master:9000/input/people.json")
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark SQL functions
zhixingheyi_tian的博客
10-26 781
Functions
Spark基础学习笔记27：Spark SQL数据源 - Hive表
howard2005的专栏
05-12 1214
利用Spark SQL读取和写入Hive表
Spark SQL内置函数
IT深耕十余载，大道之简
06-01 1780
Apache Spark SQL 提供了一组丰富的内置函数（或称为UDFs，用户定义函数），用于在查询时处理数据。这些函数涵盖了字符串操作、日期/时间处理、数学运算、聚合等多个方面。upper(str)lower(str)trim(str)abs(num)floor(num)ceil(num)sqrt(num)count(*)sum(col)avg(col)min(col)max(col)value1value2value1CASE这只是 Spark SQL 提供的内置函数的一小部分示例。
Spark SQL 函数全集
热门推荐
Liam's Blog (AI & BigData)
03-23 4万+
Summary org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过import org.apache.spark.sql.functions._ ，也可以用于Dataframe，Dataset。 version 2.3.0 大部分支持Colum...
Spark SQL 函数汇总
loaDforK的抄抄写写
12-18 670
org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 经过import org.apache.spark.sql.functions._ ，也可以用于Dataframe，Dataset。 版本介绍Spark V2.3.0 聚合函数 approx_count_distinct count_distinct近似值 avg 平均值 collect_l...
spark sql functions
luyee2010的专栏
03-22 720
org.apache.spark.sql.functions是一个Object，提供了很多函数。 https://spark.apache.org/docs/2.3.1/api/java/org/apache/spark/sql/functions.html
Spark基础学习笔记01：初步了解Spark
howard2005的专栏
02-19 1659
一、大数据开发总体架构 二、Spark概述 三、Spark发展史 四、Spark特点 五、Spark主要组件 六、Spark应用场景
Spark基础学习笔记23：DataFrame与Dataset
howard2005的专栏
04-22 2250
Spark SQL、DataFrame、Dataset
Spark学习笔记之Spark SQL的具体使用
08-25
Spark SQL学习笔记 Spark SQL是Apache Spark平台下的一个模块，提供了一个编程抽象叫做DataFrame，并且作为分布式SQL查询引擎的作用。Spark SQL是Spark平台下的一个重要组件，主要用于处理结构化数据。 Spark SQL...
spark.sql.functions函数
m0_64683883的博客
11-29 1349
org.apache.spark.sql.functions类中所有的函数，时间函数，聚合函数，字符串函数，窗口函数，排序函数等
SparkSQL函数
最新发布
howard2005的专栏
01-18 746
SparkSQL提供了丰富的内置函数，用于数据处理和分析。这些函数包括字符串操作、日期时间处理、数学计算、聚合函数以及窗口函数等。通过使用这些函数，用户可以高效地进行数据转换、过滤和聚合操作。SparkSQL还支持用户自定义函数（UDF），以满足特定需求。这些函数使得在分布式环境中处理大规模数据变得更加便捷和灵活。
Sparksql函数
qq_46893497的博客
06-03 1338
这里我只整理了比较感兴趣的函数，更多的可以参考官方文档，也可以看下这个文档查看你的版本-- 例如 3.0.2 xxxxxx。
Spark SQL functions.scala 源码解析（四）Non-aggregate functions （基于 Spark 3.3.0）
Shockang的博客
12-21 2989
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0） Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0） Spark SQL functions
Spark SQL functions.scala 源码解析（三）Window functions （基于 Spark 3.3.0）
Shockang的博客
12-13 4010
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0） Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0） Spark SQL functions
SparkSQL函数操作
HYSliuliuliu的博客
12-21 7711
SQL中函数，其实说白了就是各大编程语言中的函数，或者方法，就是对某一特定功能的封装，通过它可以完成较为复杂的统计。这里的函数的学习，就基于Hive中的函数来学习。概述当系统提供的这些函数，满足不了咱们的需要的话，就只能进行自定义相关的函数，一般自定义的函数两种，UDF和UDAF。UDF一路输入，一路输出，完成就是基于scala函数。通过模拟获取字符串长度的udf来学习自定义udf操作。代码实现// 创建执行入口// 导入隐式转换及构建数据"yukailu","maningna"))
【转】Spark SQL 函数全集
qq_41919284的博客
05-07 980
放丢失，转载，感谢大神！ https://blog.youkuaiyun.com/liam08/article/details/79663018 Summary
Scala与Spark深度学习笔记：从基础到SparkSQL
"该资源是关于Spark和Scala的综合学习笔记，涵盖了从基础到进阶的多个主题，包括Scala的开发环境配置、基本语法、集合操作、面向对象编程和函数式编程，以及Spark的环境搭建、算子使用、运行原理、运行模式和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值