SparkSQL内置函数、UDF函数、Catalog

最新推荐文章于 2025-05-14 09:03:50 发布

11号车厢

最新推荐文章于 2025-05-14 09:03:50 发布

阅读量613

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark2 文章标签： Spark2

本文链接：https://blog.youkuaiyun.com/greenplum_xiaofan/article/details/98814573

本文主要介绍了SparkSQL的内置函数，包括其类中的所有快捷方法，以及如何导入使用。其次，讨论了UDF（用户定义函数）的使用。最后，详细讲解了从2.0版本开始引入的Catalog特性，利用它来查看数据库和表的相关信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1、SparkSQL内置函数介绍

SparkSQL的内置函数全部都是在functions.scala类中，Ctrl+F12快捷键可以产看本类中的所有方法。
需要手动导入：import org.apache.spark.sql.functions._
在这里插入图片描述

scala> val df=spark.read.json("file:///home/hadoop/data/stu1.json")
df: org.apache.spark.sql.DataFrame = [email: string, id: string ... 2 more fields]

scala> df.show
+--------+---+--------+-----------+
|   email| id|    name|      phone|
+--------+---+--------+-----------+
|1@qq.com|  1|zhangsan|13721442689|
|2@qq.com|  2|    lisi|13721442687|
|3@qq.com|  3|  wangwu|13721442688|
|4@qq.com|  4|xiaoming|13721442686|
|5@qq.com|  5|xiaowang|13721442685|
|5@qq.com|  5