Flink SQL: 用户自定义函数（UDF、UDAF、UDTF）的使用与编程

最新推荐文章于 2025-06-16 11:00:39 发布

Book_Sea

最新推荐文章于 2025-06-16 11:00:39 发布

阅读量492

点赞数

CC 4.0 BY-SA版权

文章标签： flink sql 大数据编程

本文链接：https://blog.youkuaiyun.com/Book_Sea/article/details/133060837

编程专栏收录该内容

477 篇文章 ¥59.90 ¥99.00

订阅专栏

本文详细介绍了Apache Flink中的用户自定义函数（UDF）、用户自定义聚合函数（UDAF）和用户自定义表函数（UDTF）。通过这些函数，开发者可以自定义数据处理逻辑，实现对输入数据流的处理，并在SQL查询中直接调用，增强Flink SQL的功能和灵活性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用户自定义函数（User-Defined Functions，简称 UDF）是 Apache Flink 中一项强大的功能，它允许开发者自定义函数来处理输入数据流，并生成期望的输出结果。除了 UDF，Flink 还提供了用户自定义聚合函数（User-Defined Aggregate Functions，简称 UDAF）和用户自定义表函数（User-Defined Table Functions，简称 UDTF），它们分别用于聚合操作和表操作。本文将详细介绍 Flink SQL 中用户自定义函数的使用与编程。

用户自定义函数（UDF）的使用
UDF 允许我们对输入数据流的每个元素进行自定义处理，并返回处理结果。下面是一个使用 UDF 的示例代码：

import org.apache.flink.api.common.functions.

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Book_Sea

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

【Flink】Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF

九师兄

06-03

3608

本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价值 // eventTime: 北京时间，方便测试。如下，乱序数据: {"userID": "user_5", "eventTi.

大数据Flink（一百二十）：Flink SQL自定义函数（UDF）

Lansonli（蓝深李）的博客

09-17

2278

点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。

参与评论您还未登录，请先登录后发表或查看评论

Flink-SQL-UDF(自定义函数)

silmeweed的博客

08-04

6543

主要讲三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力. 1.用户自定义函数在使用之前是必须要注册的。调用TableEnvironment的registerFunction()方法来实现注册。Udf注册成功之后，会被插入TableEnvironment的function catalog，这样table API和sql就能解析他了。 2.

FlinkSQL 自定义UDTF函数解析kafka json数组并写入kudu

diyicedaan的专栏

10-08

560

1.kafka有如下 json数组的数据，flink 需要自定义UDTF 函数解析。3. flinksql 逻辑。2. idea 代码如下。

自定义 Flink SQL 函数

最新发布

Made In SQL

06-16

981

FlinkSQL自定义函数开发指南本文详细介绍了FlinkSQL中三种自定义函数的实现方法：1)标量函数（单行输入输出单值），用于数据清洗和转换；2)聚合函数（多行输入输出单值），用于统计分析；3)表函数（单行输入输出多行），用于数据拆分。指南包含每类函数的典型应用场景、实现步骤、增强代码示例和复杂使用案例，并提供了函数注册管理、性能优化、测试调试等高级技巧。通过本指南，开发者可掌握扩展Flink功能的核心方法，构建高效的数据处理解决方案。

FlinkSQL自定义UDTF使用的四种方式

大数据研习社

06-28

2037

FlinkSQL的Table functions对标Hive的UDTF，可以实现数据⼀进多出的炸裂效果，广泛应用与电商、运营商、手机厂商等数据处理过程。

Flink使用指南: Flink SQL自定义函数

徐腾瑞的博客

06-18

5338

系列文章目录 Flink使用指南提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤 1.引入库 2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pand..

flink-sql自定义函数-1.13

第一片心意的博客

08-02

2158

本文基于 Flink 1.13官网的自定义函数部分翻译整理，内容十分全面。

flinksql udf udaf udtf 用户自定义函数使用

yy的博客

11-07

303

flink1.13 pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://mave.

Flink 实践教程-进阶（10）：自定义聚合函数（UDAF）

cloudbigdata的博客

03-11

3268

作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、...

flink sql之自定义UDF

启迪思维，精进技术

12-31

1676

三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 一、Scalar Functions 标量函数标量函数，是指返回一个值的函数。标量函数是实现将0，1，或者多个标量值转化为一个新值。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public，命名为eval。evaluation方法的输入参数类型和返回值类型决定着标量函数的输入参数类型和返回值类型。evaluation方

flinksql的udtf函数

qq_46183404的博客

10-09

1114

flinksql的udtf函数

flinksql 流表转换， 自定义udf/udtf，SQL 内置函数及自定义函数

Direction_Wind的博客

02-20

1648

1、在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为 Scala 的 Table API 注册函数。2、函数通过调用 registerFunction（）方法在 TableEnvironment 中注册。当用户定义的函数被注册时，它被插入到 TableEnvironment 的函数目录中，这样 Table API 或 SQL 解析器就可以识别并正确地解释它函数总结，函数总分为四大类。

Flink 实践教程-进阶（9）：自定义表值函数（UDTF）

cloudbigdata的博客

03-03

2268

作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝...

flink UDF/UDAF/UDTF详解

qq_33615604的博客

03-03

3274

flink udf/udaf/udtf

flinksql自定义函数

weixin_45150724的博客

03-05

832

官网位置 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/ UDF 一进一出的方式 package day07; import bean.SensorReading; import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator; import org.apache.flink.streaming.api.environ

（8）FlinkSQL自定义UDF

NBI大数据可视化

08-08

337

Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：

Flink1.15 SQL实现自定义UDF

大数据研习社

05-09

3328

类似于Hive UDF，Flink SQL提供了丰富的函数类型来自定义函数，从而为Flink SQL统计分析复杂的数据格式提供了重要手段。

Flink-函数 | 用户自定义函数（UDF）标量函数 | 表函数 | 聚合函数 | 表聚合函数

SmallScorpion

06-01

1512

GitHub https://github.com/SmallScorpion/flink-tutorial.git 函数（Functions）用户自定义函数（UDF）用户定义函数（User-defined Functions，UDF）是一个重要的特性，它们显著地扩展了查询的表达能力,一些系统内置函数无法解决的需求，我们可以用UDF来自定义实现。在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用函数通过调用 registerFunction（）方法在 TableEnvironmen

flink sql 自定义简单函数

12-26

Flink SQL 提供了自定义用户函数（User-defined Functions, UDFs）的功能，这使得开发者能够编写并注册自己的函数来处理特定的数据转换需求。自定义函数可以分为两种类型： 1. ** scalar functions** (标量函数)：它们接受单个输入并返回单个结果。例如，你可以创建一个计算两个数平均值的 UDF。 ```sql CREATE FUNCTION add_one(x INT) RETURNS INT AS 'return x + 1'; ``` 2. ** table functions or aggregates** (表函数或聚合函数)：通常用于对一组数据进行操作，如 GROUP BY 后的应用。例如，一个计算分组后的最大值的 UDAF（用户定义的aggregate function）。 ```sql CREATE TABLE_FN max_in_group(f1 INT, f2 STRING) RETURNS TABLE (new_val INT) AS 'SELECT MAX(f1), f2 FROM $0'; ``` 为了在 Flink SQL 中使用自定义函数，你需要先将其注册到 Flink 的函数管理器，然后可以在查询中像内置函数一样调用它。注意，函数的实现语言通常是 Java、Scala 或 Python，并通过 Flink的 API 来完成。