Flink 实践教程-进阶（10）：自定义聚合函数（UDAF）

原创 已于 2023-07-11 16:01:10 修改 · 3.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #java #mysql #大数据 #flink

于 2022-03-11 19:42:46 首次发布
本文介绍了如何在腾讯云流计算Oceanus平台上使用自定义聚合函数（UDAF），结合MySQL CDC，实现数据的实时分析和存储。通过创建UDAF，计算加权平均值，并将结果存入MySQL数据库。详细步骤包括UDAF的开发、Jar包上传、SQL作业创建及源、接收表的定义。

作者：腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介  

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

操作教程

本文将为您详细介绍如何使用自定义聚合函数（UDAF），将处理后的存入 MySQL 中。

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1]，点击左侧【集群管理】，点击左上方【创建集群】，具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3]，点击【新建】。具体可参考官方文档 创建 MySQL 实例 [4]。进入实例后，单击右上角【登陆】即可登陆 MySQL 数据库。

创建 MySQL 表

-- 建表语句，用于向 Source 提供数据
CREATE TABLE `udaf_input` (
 `id`       int(10) NOT NULL,
 `product`  varchar(50) DEFAULT '',
 `value`    int(10) DEFAULT NULL,
 `weight`
最低0.47元/天 解锁文章
大数据Flink（一百二十）：Flink SQL自定义函数（UDF）
Lansonli（蓝深李）的博客
09-17 2541
点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。
【Flink】Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF
九师兄
06-03 3662
本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价值 // eventTime: 北京时间，方便测试。如下，乱序数据: {"userID": "user_5", "eventTi.
Flink自定义函数之聚合函数（UDAGG函数）
marui156的专栏
05-11 1621
聚合函数：将一个表的一个或多个行并且具有一个或多个属性聚合为标量值。聚合函数理解：假设一个关于饮料的表。表里面有三个字段，分别是 id、name、price，表里有 5 行数据。假设你需要找到所有饮料里最贵的饮料的价格，即执行一个 max() 聚合。你需要遍历所有 5 行数据，而结果就只有一个数值。
Flink1.10实战：自定义聚合函数AggregateFunction
11-10 1952
Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口的数据，所以效率执行比较高。 @PublicEvolving public interface AggregateFunction<IN, ACC, OUT> extends Function, Serializable { ............................... } 自定义聚合函数需要实现Agg...
Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通)
热门推荐
Oz_Mood的博客
04-02 1万+
Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream API 来从不同的数据源获取数据。每个示例都包含了创建数据流的代码和对数据流进行操作的注释。这些示例可以作为构建更复杂 Flink 流处理作业的起点。
hive学习笔记之十：用户自定义聚合函数(UDAF)
程序员欣宸的博客
11-07 4784
掌握一进多出的用户自定义聚合函数开发和使用
flink实战-使用自定义聚合函数统计网站TP指标
公众号[大数据技术与应用实战]，分享大数据实战案例
09-09 907
文章目录背景自定义聚合函数实例讲解 背景 在网站性能测试中，我们经常会选择 TP50、TP95 或者 TP99 等作为性能指标。接下来我们讲讲这些指标的含义、以及在flink中如何实时统计： TP50，top percent 50，即 50% 的数据都满足某一条件； TP95，top percent 95，即 95% 的数据都满足某一条件； TP99，top percent 99，即 99% 的数据都满足某一条件； 我们举一个例子，我们要统计网站一分钟之内的的响应时间的TP90,正常的处理逻辑就是把这一
flink实战--UDF
阿华田的博客
01-19 5942
简介 UDF可以帮助我们极大地扩展了查询的表达能力，flink Sql自定义函数（UDF）和spark Sql 自定义函数原理是一样的，主要步骤无非就是，注册函数，自定义函数类实现flink自带的接口函数。和spark的UDF对比着来 ，下面介绍具体实现步骤。 UDF的分类和定义 UDF(User-Defined-Function)一进一出。 UDAF(User-...
使用Flink流处理编写自定义聚合函数（UDAF）
2301_79326930的博客
09-19 254
在Flink流处理中，用户可以通过自定义聚合函数（User-Defined Aggregation Function，UDAF）来实现自定义的聚合操作。UDAF允许我们在流处理任务中定义自己的聚合逻辑，并将其应用于数据流中的元素。通过自定义聚合函数，我们可以实现自定义的聚合逻辑，并在流处理任务中使用。通过以上示例代码，你可以开始编写自己的UDAF，并在Flink中进行流处理任务。一旦我们编写好了自定义的聚合函数，就可以在Flink流处理任务中使用它了。在上面的示例中，我们首先创建了一个流处理环境，并使用。
Flink系列之：自定义函数
zhengzaifeidelushang的博客
12-17 1263
自定义函数（UDF）是一种扩展开发机制，可以用来在查询语句里调用难以用其他方式表达的频繁使用或自定义的逻辑。自定义函数可以用 JVM 语言（例如 Java 或 Scala）或 Python 实现，实现者可以在 UDF 中使用任意第三方库，本文聚焦于使用 JVM 语言开发自定义函数。标量函数 将标量值转换成一个新标量值；表值函数 将标量值转换成新的行数据；聚合函数 将多行数据里的标量值转换成一个新标量值；表值聚合函数 将多行数据里的标量值转换成新的行数据；
Flink SQL自定义聚合函数实现及源码解析
BugCrusher的博客
08-19 326
在大数据处理中，Flink是一个开源的流处理和批处理框架，提供了强大的数据处理能力。Flink SQL是Flink框架中的一个组件，它允许用户使用类似SQL的语法进行数据分析和处理。综上所述，本文介绍了如何在Flink SQL中实现自定义的聚合函数，并提供了一个求和聚合函数的示例代码。通过自定义聚合函数，我们可以扩展Flink SQL的功能，满足更复杂的数据处理需求。下面是一个示例SQL语句，展示了如何在Flink SQL中使用我们的自定义求和函数。下面是一个示例，展示了如何实现一个自定义的求和聚合函数。
flink教程
Cool_Pepsi的博客
10-15 1409
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0
Flink教程
littlely_ll的博客
06-25 555
这是一部讲解Flink的通俗教程，语言可能不够优雅，但力争讲的明白，如果您在浏览的时候有什么迷惑的地方，您可以大胆的提出issue，这样我可以及时修改，但是您不要指望讲解的有多么深入，因为这只是一个入门的Flink教程，不过我会尽量讲清楚重要的知识点，并以通俗易懂的形式展现出来。另外欢迎大家能够贡献内容！本教程使用Scala语言进行讲解，使用的Flink版本为1.10.0。内容逐步更新！ Summary 前言 第一章 Apache Flink简介 1.1 Flink介绍 1.2 Flink编程模型
Spring Boot 注解实现 Redis 多个库的切换
扛麻袋的少年的博客
04-08 2275
Spring Boot 学习笔记(三十四)： SpringBoot，基于注解，来实现Redis 0-15 个库的切换。 代码：     SpringBoot使用注解实现 Redis 数据库的切换
flink自定义函数
congge_study的博客
01-15 1922
flink自定义函数
Flink自定义函数之表值聚合函数（UDTAGG函数）
marui156的专栏
05-25 1159
自定义表值聚合函数（UDTAGG）可以把一个表（一行或者多行，每行有一列或者多列）聚合成另一张表，结果中可以有多行多列。理解：假设有一个饮料的表，这个表有 3 列，分别是 id、name 和 price，一共有 5 行。假设你需要找到价格最高的两个饮料，类似于 top2() 表值聚合函数。你需要遍历所有 5 行数据，结果是有 2 行数据的一个表。
Flink_Sql_Function——自定义各种函数
weixin_43003792的博客
02-19 1705
函数（Functions） • Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数 • SQL 中支持的很多函数，Table API 和 SQL 都已经做了实现 Ø 比较函数 • SQL： value1 = value2 value1 > value2 • Table API： ANY1 === ANY2 ANY1 > ANY2 Ø 逻辑函数 • SQL： boolean1 OR boolean2 boolean IS FALSE NOT boolean • T
flink sql 自定义简单函数
最新发布
12-26
2. ** table functions or aggregates** (表函数或聚合函数)：通常用于对一组数据进行操作，如 GROUP BY 后的应用。例如，一个计算分组后的最大值的 UDAF（用户定义的aggregate function）。 ```sql CREATE TABLE...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值