Flink 实践教程-进阶(10):自定义聚合函数(UDAF)

Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通) Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream API 来从不同的数据源获取数据。每个示例都包含了创建数据流的代码和对数据流进行操作的注释。这些示例可以作为构建更复杂 Flink 流处理作业的起点。 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介  

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

操作教程

本文将为您详细介绍如何使用自定义聚合函数(UDAF),将处理后的存入 MySQL 中。

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3],点击【新建】。具体可参考官方文档 创建 MySQL 实例 [4]。进入实例后,单击右上角【登陆】即可登陆 MySQL 数据库。

创建 MySQL 表

-- 建表语句,用于向 Source 提供数据
CREATE TABLE `udaf_input` (
 `id`       int(10) NOT NULL,
 `product`  varchar(50) DEFAULT '',
 `value`    int(10) DEFAULT NULL,
 `weight`   int(10) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8


-- 插入数据
INSERT INTO `udaf_input` (`id`, `product`, `value`, `weight`) VALUES (1, 'oceanus-1', 2, 2);
INSERT INTO `udaf_input` (`id`, `product`, `value`, `weight`) VALUES (2, 'oceanus-1', 3, 3);
INSERT INTO `udaf_input` (`id`, `product`, `value`, `weight`) VALUES (3, 'oceanus-2', 5, 4);
INSERT INTO `udaf_input` (`id`, `product`, `value`, `weight`) VALUES (5, 'oceanus-2', 6, 5);


-- 建表语句,用于接收 Sink 端数据
CREATE TABLE `udaf_output` (
 `product`  varchar(50) NOT NULL DEFAULT '',
 `sum`      double(11,0) DEFAULT NULL,
 PRIMARY KEY (`product`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

开发 UDAF

我们自定义一个 UDAF,继承 AggregateFunction,对算子输入的两个字段计算加权平均值。

1. 代码编写

WeightedAvgAccumulator类:

package demos.UDAF;


public class WeightedAvgAccumulator{
   public long sum = 0;
   public int count = 0;
}

WeightedAvg 类:

package demos.UDAF;


import org.apache.flink.table.functions.AggregateFunction;


public class WeightedAvg extends AggregateFunction<Long, WeightedAvgAccumulator> {


   @Override
   public WeightedAvgAccumulator createAccumulator() {
       return new WeightedAvgAccumulator();
  }


   @Override
   public Long getValue(WeightedAvgAccumulator acc) {
       if (acc.count == 0) {
           return null;
      } else {
           return acc.sum / acc.count;
      }
  }


   public void accumulate(WeightedAvgAccumulator acc, Long iValue, Integer iWeight) {
       acc.sum += iValue * iWeight;
       acc.count += iWeight;
  }


   public void retract(WeightedAvgAccumulator acc, Long iValue, Integer iWeight) {
       acc.sum -= iValue * iWeight;
       acc.count -= iWeight;
  }


   public void merge(WeightedAvgAccumulator acc, Iterable<WeightedAvgAccumulator> it) {
       for (WeightedAvgAccumulator a : it) {
           acc.count += a.count;
           acc.sum += a.sum;
      }
  }


   public void resetAccumulator(WeightedAvgAccumulator acc) {
       acc.count = 0;
       acc.sum = 0L;
  }
}

2. 打包 Jar

使用 IDEA 自带打包工具 Build Artifacts 或者命令行进行打包。命令行打包命令:

mvn clean package

命令行打包后生成的 Jar 包可以在项目 target 目录下找到。

流计算 Oceanus 作业

上传依赖

在 Oceanus 控制台,点击左侧【依赖管理】,点击左上角【新建】新建依赖,上传本地 Jar 包。

创建 SQL 作业

在 Oceanus 控制台,点击左侧【作业管理】,点击左上角【新建】新建作业,作业类型选择 SQL 作业,点击【开发调试】进入作业编辑页面。单击【作业参数】,在【引用程序包】处选择刚才上传的 Jar 包。

1. 创建 Function

CREATE TEMPORARY SYSTEM FUNCTION WeightedAvg  AS 'demos.UDAF.WeightedAvg';

WeightedAvg代表创建的函数名,demos.UDAF.WeightedAvg代表代码所在路径。

2. 创建 Source

CREATE TABLE `mysql_cdc_source_table` (
 `id`        INT,
 `product`   VARCHAR,
 `value`     INT,
 `weight`    INT,
 PRIMARY KEY (`id`) NOT ENFORCED -- 如果要同步的数据库表定义了主键, 则这里也需要定义
) WITH (
 'connector' = 'mysql-cdc',  -- 固定值 'mysql-cdc'
 'hostname' = 'xx.xx.xx.xx',      -- 数据库的 IP
 'port' = 'xxxx',                -- 数据库的访问端口
 'username' = 'root',            -- 数据库访问的用户名(需要提供 SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENT、SELECT 和 RELOAD 权限)
 'password' = 'xxxxxxxxx',       -- 数据库访问的密码
 'database-name' = 'testdb',     -- 需要同步的数据库
 'table-name' = 'udaf_input'     -- 需要同步的数据表名
);

3. 创建 Sink

CREATE TABLE `jdbc_source_table` (
   `product`  VARCHAR,
   `sum`      DOUBLE,
   PRIMARY KEY(`product`) NOT ENFORCED
) WITH (
   -- 指定数据库连接参数
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://xx.xx.xx.xx:xxxx/testdb?rewriteBatchedStatements=true&serverTimezone=Asia/Shanghai',   -- 请替换为您的实际 MySQL 连接参数
   'table-name' = 'udaf_output',    -- 需要写入的数据表
   'username' = 'root',             -- 数据库访问的用户名(需要提供 INSERT 权限)
   'password' = 'xxxxxxxxx',        -- 数据库访问的密码
   'sink.buffer-flush.max-rows' = '200',  -- 批量输出的条数
   'sink.buffer-flush.interval' = '2s'    -- 批量输出的间隔
);

4. 编写业务 SQL

INSERT INTO jdbc_source_table
SELECT
product,CAST(WeightedAvg(`value`,`weight`) AS DOUBLE) AS `sum`
FROM mysql_cdc_source_table GROUP BY `product`;

总结

本文首先在本地开发 UDAF 函数,将其打成 Jar 包后上传到 Oceanus 平台引用。接下来使用 MySQL CDC 连接器获取udaf_input表数据,调用 UDAF 函数对输入的两个字段计算加权平均值后存入 MySQL 中。其他的自定义函数,例如自定义标量函数(UDF)和自定义表值函数(UDTF)的使用方法和视频教程可以参考之前的文章 Flink 实践教程:进阶8-自定义标量函数(UDF) [5]、Flink 实践教程:进阶9-自定义表值函数(UDTF) [6]

  • 自定义聚合函数(UDAF)可以将多条记录聚合成 1 条记录。

参考链接

[1] Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview  

[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298  

[3] MySQL 控制台:https://console.cloud.tencent.com/cdb  

[4] 创建 MySQL 实例:https://cloud.tencent.com/document/product/236/46433  

[5] Flink 实践教程:进阶8-自定义标量函数(UDF):https://cloud.tencent.com/developer/article/1946320  

[6] Flink 实践教程:进阶9-自定义表值函数(UDTF):https://cloud.tencent.com/developer/article/1951900  

零基础入门Flink,掌握基本使用方法 首先来讲,Flink是一个面向数据和的分布式开源计算框架。那么,流处理和批处理分别处理什么样的数据呢,这就涉及两个概念-任何类型的数据都可以形成,比如用户交互记录, 传感器数据,事件日志等等。Apache Flink 擅长处理无界和有界数据集。精确的时间控制和有状态的计算,使得 Flink能够运行任何处理流数据分为无界流和有界流。 阅读详情

相关推荐

Flink SQL 自定义UDAF

Flink SQL 自定义UDAF 创建一个数据源 class udafSource extends RichSourceFunction[Double] { override def run(ctx: SourceFunction.SourceContext[Double]) = { while (true) { val d = scala.math.random ...

k_wzzc的博客 3462

flink UDF/UDAF/UDTF详解

flink udf/udaf/udtf

qq_33615604的博客 3478

史上最全Flink UDF 使用教程,从0到1教你如何学会各种自定义UDF 的使用

在 Flink 中,如果系统自带的函数无法满足业务场景,允许用户自定义 UDF 函数来实现业务逻辑,即 Flink UDF。Flink UDF(User-Defined Function,用户自定义函数)是 Flink 中一种自定义函数的实现方式,用于在 Flink 程序中对输入数据进行处理和转换。UDF 可以用于 Flink SQL 和 Table API 中,也可以在 Flink DataStream 中使用。Flink UDF。

逆流而上Mr李 875

FlinkSQL自定义UDAF使用的三种方式

FlinkSQL的Aggregate functions对标Hive的UDAF,可以实现数据多进一出的聚合效果,可以用于求最大值、最小值、平均值等应用场景。

大数据研习社 1235

使用Flink流处理编写自定义聚合函数(UDAF)

在Flink流处理中,用户可以通过自定义聚合函数(User-Defined Aggregation Function,UDAF)来实现自定义的聚合操作。UDAF允许我们在流处理任务中定义自己的聚合逻辑,并将其应用于数据流中的元素。通过自定义聚合函数,我们可以实现自定义的聚合逻辑,并在流处理任务中使用。通过以上示例代码,你可以开始编写自己的UDAF,并在Flink中进行流处理任务。一旦我们编写好了自定义的聚合函数,就可以在Flink流处理任务中使用它了。在上面的示例中,我们首先创建了一个流处理环境,并使用。

2301_79326930的博客 304

【Flink】Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF

本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品,以及商品的价值 // eventTime: 北京时间,方便测试。如下,乱序数据: {"userID": "user_5", "eventTi.

九师兄 3742

Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF

本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品,以及商品的价...

王佩的优快云博客 1万+

大数据Flink(一百二十):Flink SQL自定义函数(UDF)

点击确定后,Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类,并自动提取类名,填充到Function Name字段中。进入阿里云Flink开发平台,点击左侧导航栏SQL开发,点击左侧的函数页签,单击注册UDF,将udx.zip上传,如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数,可以看到函数页签下出现了udx目录,下面有三个自定义函数,此时自定义函数创建完成。

Lansonli(蓝深李)的博客 2880

[FLINK]使用UDAF实现数据排序和聚合

居民用电户电网终端数据表electric_info,包括事件标识event_id,用户标识user_id,事件时间event_time,用户终端状态status。本文提供了一个自定义聚合函数(UDAF),实现将多行数据合并为一行并按照指定列进行排序,并以居民用电户电网终端数据为例,介绍如何在实时计算控制台使用该函数进行数据聚合和排序。此外,Flink开发控制台会解析您UDF JAR文件中是否使用了Flink UDF、UDAF和UDTF接口的类,并自动提取类名,填充到Function Name字段中。

soso1968的博客 922

flink 流 UDAF

package UDFTestScalar import ceshi.SensorReading import org.apache.flink.streaming.api._ import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor import org.apache.flink.streaming.api.scala._ import org.apache.fl.

yy的博客 600

实战指南:在华为防火墙上构建基于自签CA的SSL证书挑战式认证体系

本文详细介绍了在华为防火墙上构建基于自签CA的SSL证书挑战式认证体系的实战指南。通过自签CA证书生成、华为防火墙SSL VPN配置、客户端安装与测试等步骤,帮助企业实现更安全的远程办公接入方案,有效防范密码泄露风险。文章重点讲解了证书挑战登录的实现原理和配置细节,适用于企业网络安全建设。

weixin_32428571的博客 257

秒懂Flink:Flink UDF自定义函数开发教程

Flink UDF(用户自定义函数)是Flink生态中强大的扩展机制,允许开发者根据业务需求定制数据处理逻辑。本教程将带你快速掌握Flink UDF的开发方法,从基础概念到实战案例,轻松上手自定义函数开发。 ## 为什么需要Flink UDF? Flink内置函数虽然丰富,但在实际业务场景中,我们经常需要处理复杂的业务逻辑或特定的数据转换需求。Flink UDF提供了灵活的扩展方式,让你能够:

gitblog_00954的博客 337

01|无代码开发 | 如何使用Zion实现导航网站制作

以上就是我制作导航网站的心得,分享给大家,作为一个小白想要独立搭建一个网站还是比较困难的,而在Zion不仅可以用可视化的方法进行搭建,甚至还可以一键发布,不用考虑服务器域名啥的问题,真是太方便了。

2301_76262110的博客 1390

Flink自定义函数开发:UDF、UDAF、UDTF编写与注册完整指南

Apache Flink作为业界领先的流处理框架,提供了强大的自定义函数功能,允许开发者根据业务需求扩展SQL和Table API的能力。本文将详细介绍Flink中三种主要自定义函数(UDF、UDAF、UDTF)的开发、实现和注册方法,帮助您快速掌握Flink函数扩展的核心技术。 ## 🔥 Flink自定义函数概述 Flink自定义函数是扩展Flink SQL和Table API功能的重要手

gitblog_01182的博客 439

阿里云天池大数据长期赛:金融风控-贷款违约预测(含代码)

本次比赛让自己在大数据的处理流程上有了更明确的认知,从数据清洗、特征工程、数据建模,每一个过程都能学到很多经验和知识,值得去历练。

weixin_46685991的博客 1万+

北京途游游戏后端开发面经

北京途游游戏后端开发面经 我面试岗位是基于Python的后端开发工程师,主要是搞游戏的服务器开发。面试一共分了两轮,之后说是看看其他的候选人再定,感觉凉凉~~ 由于受到此次新型冠状病毒疫情的影响,本次面试采用视频面试的方式,下面是面试的时候面试官提的问题,python的基础知识还是问的比较多的。  一面:(32分钟微信视频)  简单做下自我介绍,   1.说一下你开发过的项目,挑一个说下你都做了...

weixin_45603043的博客 2129

Flink UDF函数

Flink UDF函数介绍

qq_32486597的博客 1875

植物叶绿体基因组分析全攻略:从共线性到密码子偏好性

本文全面解析植物叶绿体基因组分析流程,从共线性分析到密码子偏好性研究。详细介绍了叶绿体基因组结构特征、测序数据获取与质量控制、基因组组装与注释方法,以及比较基因组学和进化分析技术。特别关注IR区边界变异分析和选择压力评估,为植物系统发育研究和物种鉴定提供实用指南。

weixin_28475533的博客 222

Flink自定义函数的介绍与使用

Flink自定义函数的介绍与使用函数的介绍UDF的使用 函数的介绍 UDF的使用 代码实现: UDF需要在ScalarFunction类中实现eval方法。open方法和close方法可选 Demo: import org.apache.flink.table.functions.FunctionContext; import org.apache.flink.table.functions.ScalarFunction; public class StringLengthUdf extends Sca

qq_37321134的博客 2393

【Cadence】Virtuoso@LayoutXL 差分电路版图同步修改

对于差分电路,器件和部分走线通常是对称的,只需要画一半,另一半通过镜像操作完成。因此,需要对差分电路进行同步的修改,保证电路的差分对称性和正确的连接关系。然而,通常版图会经过多次修改,修改的部分可能在镜像的时候被遗漏。左边画了金属块,右边也出现了同步出现了金属块。进入group会有同步复制的提示。

乾巽的博客 3052

Opencv4.5.1 微信二维码识别功能 QRCode 编译与使用 C++

部分参考:https://mp.weixin.qq.com/s/2GZAJAUPHTXFOKDRv-D21Q 一、下载源码 https://github.com/opencv 二、源码编译 ① 在cmake中添加源码编译路径和生成路径,第一次点击configure。 ② 添加contrib路径 第一次configure后,找到OPENCV_EXTRA_MODULES_PATH,将contrib路径添加进来,注意要具体到modules/,继续configure。 ..

zaibeijixing的专栏 1万+

Flink--自定义函数

本文为您介绍如何为实时计算Flink版自定义标量函数(UDF)、自定义聚合函数(UDAF)、自定义表值函数(UDTF)编写业务代码及上线。 自定义标量函数(UDF) 定义 自定义标量函数(UDF)将0个、1个或多个标量值映射到一个新的标量值。 为了定义标量函数,必须在org.apache.flink.table.functions中扩展基类Scalar Function,并实现(一个或多个)求值(evaluation,eval)方法。标量函数的行为由求值方法决定,求值方法必须公开声明并命名为eval

Samooyou的博客 1012

直击高频编程考点:字符串知识及经典算法题总结

字符串相关基本练习题总结(最长公共子串、最长回文子串、最长无重复字符子串、最小覆盖子串、字符串相乘、中文数字表达转实际数字格式等)

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 172万+

Apache Flink 集成 Hive 函数:HiveModule、原生聚合函数与 Hive UDF 完整使用指南

本指南系统讲解如何在 Flink SQL 与 Table API 中复用 Hive 的函数生态:通过 `HiveModule` 将 Hive 内置函数加载为 Flink 系统内置函数;通过 `table.exec.hive.native-agg-function.enabled` 启用基于 hash 聚合的原生 Hive 聚合函数以获得性能提升;以及在 Flink 中直接调用 Hive 用户自定义

gitblog_00831的博客 741

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

0基础学习PyFlink——用户自定义函数之UDAF

在前面几篇文章中,我们学习了非聚合类的用户自定义函数。这节我们将介绍最简单的聚合函数UDAF。

方亮的专栏 1263

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

[源码解析] Flink UDAF 背后做了什么

本文涉及到Flink SQL UDAF,Window 状态管理等部分,希望能起到抛砖引玉的作用,让大家可以借此深入了解这个领域。

罗西的思考 429

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

上一篇: Flink 实践教程-进阶(9):自定义表值函数(UDTF)
下一篇: Flink Watermark 机制及总结
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值