Flink 实践教程-进阶(9):自定义表值函数(UDTF)

Flink SQL JDBC你踩过的坑 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

操作教程

本文将为您详细介绍如何使用自定义表值函数(UDTF),并将处理后的数据存入 MySQL 中。

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3],点击【新建】。具体可参考官方文档 创建 MySQL 实例 [4]。进入实例后,单击右上角【登陆】即可登陆 MySQL 数据库。

创建 MySQL 表

-- 建表语句,用于向 Source 提供数据
CREATE TABLE `udtf_input` (
  `id`    int(10) NOT NULL,
  `name`  varchar(20) DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8


-- 插入数据
INSERT INTO `udtf_input` (`id`, `name`) VALUES (1, 'Oceanus-1');
INSERT INTO `udtf_input` (`id`, `name`) VALUES (2, 'Oceanus-2');
INSERT INTO `udtf_input` (`id`, `name`) VALUES (3, 'Oceanus-3');


-- 建表语句,用于接收 Sink 端数据
CREATE TABLE `udtf_output2` (
  `id`      int(10) NOT NULL,
  `name`    varchar(20) DEFAULT '',
  `product` varchar(20) DEFAULT '',
  `num`     varchar(20) DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

开发 UDTF

这里使用 TableFunction 自定义一个 UDTF。这个 UDTF 使用-将传入进来的字段切分成两个字段后返回。

1. 代码编写

在本地IDE中创建 maven 项目,编写自定义函数 UDTF 的代码。

// 类名:SplitRowUdtf
package demos.UDTF;


import org.apache.flink.table.annotation.DataTypeHint;
import org.apache.flink.table.annotation.FunctionHint;
import org.apache.flink.table.functions.TableFunction;
import org.apache.flink.types.Row;


@FunctionHint(output = @DataTypeHint("ROW<product STRING, num STRING>"))
public class SplitRowUdtf extends TableFunction<Row> {
    public void eval(String a) {
        String[] split = a.split("-");
        String product = split[0];
        String num = split[1];
        collect(Row.of(product,num));
    }
}

2. 项目打包

使用 IDEA 自带打包工具 Build Artifacts 或者命令行进行打包。命令行打包命令:

mvn clean package

命令行打包后生成的 JAR 包可以在项目 target 目录下找到。

注意:与 Flink 相关的核心依赖包可以不打进 JAR 包,Oceanus 平台已提供,可将 scope 设置为 provided。具体可参考 Flink 实践教程:入门9-JAR 作业开发[5]。

流计算 Oceanus 作业

上传依赖

在 Oceanus 控制台,点击左侧【依赖管理】,点击左上角【新建】新建依赖,上传本地 JAR 包。

创建 SQL 作业

在 Oceanus 控制台,点击左侧【作业管理】,点击左上角【新建】新建作业,作业类型选择 SQL 作业,点击【开发调试】进入作业编辑页面。单击【作业参数】,在【引用程序包】处选择刚才上传的 JAR 包。

1. 创建 Function

CREATE TEMPORARY SYSTEM FUNCTION SplitRowUdtf  AS 'demos.UDTF.SplitRowUdtf';

SplitRowUdtf代表创建的函数名,demos.UDTF.SplitRowUdtf代表代码所在路径。

2. 创建 Source

CREATE TABLE `mysql_cdc_source_table` (
 `id`     INT,
 `name`   STRING,
 PRIMARY KEY (`id`) NOT ENFORCED -- 如果要同步的数据库表定义了主键, 则这里也需要定义
) WITH (
 'connector' = 'mysql-cdc',    -- 固定值 'mysql-cdc'
 'hostname' = 'xx.xx.xx.xx',    -- 数据库的 IP
 'port' = 'xxxx',              -- 数据库的访问端口
 'username' = 'root',          -- 数据库访问的用户名(需要提供 SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENT、SELECT 和 RELOAD 权限)
 'password' = 'xxxxxxxxx',     -- 数据库访问的密码
 'database-name' = 'testdb',   -- 需要同步的数据库
 'table-name' = 'udtf_input'   -- 需要同步的数据表名
);
3. 创建 Sink
CREATE TABLE `jdbc_upsert_sink_table` (
   `id`      INT,
   `name`    VARCHAR,
   `product` VARCHAR,
   `num`     VARCHAR,
   PRIMARY KEY(id) NOT ENFORCED
) WITH (
   -- 指定数据库连接参数
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://xx.xx.xx.xx:xxxx/testdb?rewriteBatchedStatements=true&serverTimezone=Asia/Shanghai',  -- 请替换为您的实际 MySQL 连接参数
   'table-name' = 'udtf_output2',         -- 需要写入的数据表
   'username' = 'root',                   -- 数据库访问的用户名(需要提供 INSERT 权限)
   'password' = 'xxxxxxxxx',              -- 数据库访问的密码
   'sink.buffer-flush.max-rows' = '200',  -- 批量输出的条数
   'sink.buffer-flush.interval' = '2s'    -- 批量输出的间隔
);

4. 编写业务 SQL

-- cross join 写法
INSERT INTO jdbc_upsert_sink_table
SELECT
S.id,S.name,T.product,T.num
FROM mysql_cdc_source_table  AS S,
lateral table(SplitRowUdtf(name)) AS T(product,num);


-- left join 写法
INSERT INTO jdbc_upsert_sink_table
SELECT
S.id,S.name,T.product,T.num
FROM mysql_cdc_source_table  AS S
left join lateral table(SplitRowUdtf(name)) AS T(product,num) on true;

UDTF 支持 cross join 和 left join,在使用 UDTF 时需要添加 lateral 和 table 关键字。使用 cross join 时,左表的每一行数据都会关联上 UDTF 产出的每一行数据,如果 UDTF 不产出任何数据,则这 1 行不会输出;使用 left join 时,左表的每一行数据都会关联上 UDTF 产出的每一行数据,如果 UDTF 不产出任何数据,则这 1 行的 UDTF 的字段会用 null 值填充。

总结

本文首先在本地开发 UDTF 函数,将其打成 JAR 包后上传到 Oceanus 平台引用。接下来使用 MySQL CDC 连接器获取udtf_input表数据,调用 UDTF 函数将name字段切分成两个字段后存入 MySQL 中。UDTF 可以通过多次调用 collect() 实现将 1 行的数据转为多行返回。还可以将返回值声明成 Tuple 或 Row 类型即可实现 1 列转多列(如本文所示)。

  • 自定义标量函数(UDF)只能将0个、1个或多个标量值映射到一个新的标量值。

参考链接

[1] Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview

[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298

[3] MySQL 控制台:https://console.cloud.tencent.com/cdb

[4] 创建 MySQL 实例:https://cloud.tencent.com/document/product/236/46433

[5] Flink 实践教程:入门9-JAR 作业开发:https://cloud.tencent.com/developer/article/1907822

Flink SQL 常用调优 1、建表 1.1、JDBC connection.max-retry-timeout 可选 60s Duration 最大重试超时时间,以秒为单位且不应该小于 1 秒。 scan.partition.column 可选 (none) String 用于将输入进行分区的列名。请参阅下面的分区扫描部分了解更多详情。 scan.partition.num 可选 (none) Integer 阅读详情

相关推荐

史上最全Flink UDF 使用教程,从0到1教你如何学会各种自定义UDF 的使用

在 Flink 中,如果系统自带的函数无法满足业务场景,允许用户自定义 UDF 函数来实现业务逻辑,即 Flink UDF。Flink UDF(User-Defined Function,用户自定义函数)是 Flink 中一种自定义函数的实现方式,用于在 Flink 程序中对输入数据进行处理和转换。UDF 可以用于 Flink SQL 和 Table API 中,也可以在 Flink DataStream 中使用。Flink UDF。

逆流而上Mr李 875

FlinkSQL自定义UDTF使用的四种方式

FlinkSQL的Table functions对标Hive的UDTF,可以实现数据⼀进多出的炸裂效果,广泛应用与电商、运营商、手机厂商等数据处理过程。

大数据研习社 2172

Flink流处理中使用UDTF编程

UDTF(User-Defined Table Function)是Apache Flink流处理框架中的一种编程模式,它允许开发人员自定义函数来处理流数据,并生成结果表。在本文中,我们将深入探讨如何在Flink中使用UDTF进行流处理,并提供相应的源代码示例。通过自定义UDTF函数,我们可以对流数据进行灵活的处理,并生成相应的结果表。在上述示例中,我们首先创建了一个包含两个输入元素的数据流,并将其注册为一个名为"input"的表。然后,我们可以将输入流注册为一个表,并在该表上应用UDTF函数。

CyberXZ的博客 398

Flink 自定义UDTF

Flink自定义函数实现列传行,数据格式为Json数据:[{"key1":"value1","key2":"value2"...}] Java @FunctionHint(output = @DataTypeHint("ROW<drugUniversalName string, specifications string, goodsUnit string, " + "location string, instruction string, consumption strin.

L, there! 1997

【Flink】Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF

本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品,以及商品的价值 // eventTime: 北京时间,方便测试。如下,乱序数据: {"userID": "user_5", "eventTi.

九师兄 3742

大数据Flink(一百二十):Flink SQL自定义函数(UDF)

点击确定后,Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类,并自动提取类名,填充到Function Name字段中。进入阿里云Flink开发平台,点击左侧导航栏SQL开发,点击左侧的函数页签,单击注册UDF,将udx.zip上传,如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数,可以看到函数页签下出现了udx目录,下面有三个自定义函数,此时自定义函数创建完成。

Lansonli(蓝深李)的博客 2880

Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF

本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品,以及商品的价...

王佩的优快云博客 1万+

flink 流 UDTF

package UDFTestScalar import ceshi.SensorReading import org.apache.flink.streaming.api._ import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor import org.apache.flink.streaming.api.scala._ import org.apache.fl.

yy的博客 880

Flink使用指南: Flink SQL自定义函数

系列文章目录 Flink使用指南 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pand..

徐腾瑞的博客 5621

大数据Flink(一百零一):SQL 表值函数(Table Function)

Python UDTF,即 Python TableFunction,针对每一条输入数据,Python UDTF 可以产生 0 条、1 条或者多条输出数据,此外,一条输出数据可以包含多个列。如果你是使用 Scala 实现函数,不要使用 Scala 中 object 实现 UDF,Scala object 是单例的,有可能会导致并发问题。

Lansonli(蓝深李)的博客 1205

mmdetection 实战:基于Mask R-CNN与自定义COCO数据集的目标检测全流程解析

本文详细解析了如何使用mmdetection框架和Mask R-CNN模型,基于自定义COCO数据集完成目标检测任务的全流程。内容涵盖环境搭建、数据格式转换、配置文件定制化、模型训练与评估等核心步骤,并提供了针对工业缺陷检测场景的实用调优思路与避坑指南,帮助开发者高效构建高性能检测模型。

weixin_29046611的博客 138

Flink SQL自定义表值函数(Table Function)

Flink SQL自定义表值函数(Table Function)

猫猫爱吃小鱼粮 2094

LLC同步整流实战:从驱动时序到调试仿真,效率提升与避坑指南

同步整流技术是提升开关电源效率的关键手段,尤其在LLC谐振变换器中,通过低导通电阻MOSFET替代二极管可显著降低副边整流损耗。然而,驱动时序、电流过零检测及轻载模式切换是工程实践中的核心难点。从Vds检测原理到死区调节,再到仿真与实测验证,工程师需掌握完整的调试方法论。该技术广泛应用于通信电源、服务器电源及车载DC/DC,合理设计LLC同步整流方案能实现满载效率提升约1.8个百分点,同时优化热分布。本文以600W半桥LLC样机为线索,深入分析工作模态、驱动芯片选型、波形判断与仿真模型搭建,为电源设计提供可

weixin_29165465的博客 302

0基础学习PyFlink——用户自定义函数之UDTF

在中,我们讲解了UDF。本节我们将讲解表值函数——UDTF。

方亮的专栏 1737

静态时序分析(Static Timing Analysis, STA):简介及内容导航

静态时序分析(简称STA)是用来验证数字设计时序的技术之一,另外一种验证时序的方法是时序仿真,时序仿真可以同时验证功能和时序。“时序分析”这个术语就是用来指代“静态时序分析“或”时序仿真“这两种方法之一,简单来说,时序分析的目的就是为了解决设计中的各种时序问题。STA被称为静态的原因是其对于设计的分析是静态地执行的,并不依赖于施加在输入端口上的激励。相比之下,时序仿真则可以被视作动态地执行对设计的分析,具体过程描述如下:施加一组激励,观察在这组激励下电路行为是否符合要求,然后换一组激。

Starry__的博客 2001

微信小程序|基于小程序实现定位打卡功能

此文主要在小程序内实现打卡功能,可根据用户位置与公司设定的打卡范围实时判断打卡是否合法,并在后台对打卡记录进行管理。

商务合作 / 项目定制 / 学习交流。个人vx:lovely_wml 1万+

flink udtf一行输出多行

import d0708.udtf import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.TableEnvironment import org.apache.flink.types.Row object b { def main(args:Array[String]):Unit={ val env =StreamExecutionEnvironment.getExecutionEnvironment

JavaBigData的博客 1985

WOFOST作物模型(1):PCSE环境配置

get_summary_output() 方法通常用于在 PCSE 模拟过程结束后,获取模拟结果的摘要信息,例如模拟期间的总产量、总水分需求等。它可以提供对模拟结果的快速总结,方便用户进行后续的分析和处理。用.get_output来获取过程参数,并将这些参数转为dataframe显示。用run_till_terminate()代表终止。安装好之后,打开jupyter notebook。也可以指定运行时间,并获取最后一天的参数。首先还是打开之前建好的gee虚拟环境。

所有专家都曾始于新手 681

Flink自定义函数之表值函数(UDTF函数)

用户定义的表函数将零个,一个或多个标量值作为输入参数。返回任意数量的行作为输出,返回的行可以包含一个或多个列。与标量函数区别:相同:都是将零个、一个或多个标量值作为输入参数差异:标量函数返回单个值作为输出,表值函数返回任意数量的行作为输出。

marui156的专栏 796

【BUG已解决】pip install 出现 error: Microsoft Visual C++ 14.0 or greater is required 解决方案

方案磁盘占用适用场景推荐指数安装Build Tools3-6GB长期Windows Python开发⭐⭐⭐⭐⭐寻找预编译wheel无额外占用只是想快速装上某个包⭐⭐⭐⭐⭐用conda安装视包而定已经在用conda环境⭐⭐⭐⭐⭐升级到新版本无额外占用库本身有更新的预编译版本⭐⭐⭐⭐使用WSL2需要额外配置Linux子系统频繁遇到Windows编译问题⭐⭐⭐⭐的核心是Windows 缺少本地 C/C++ 编译器,而目标包需要在本机编译。先看是否有捷径。

博客 1万+

RK3588 buildroot 双网口bonding调试

本文介绍了Rockchip Buildroot中配置网络冗余的方法,通过bonding技术将多个物理网口合并为逻辑接口。主要内容包括:1)7种常见bonding模式的特点及适用场景;2)RK3588的具体配置流程,包括内核配置(启用bonding驱动、修改dts)、添加ifenslave工具;3)系统编译和网络状态检查。

501846585_QQAndroid_java 460

Flink--自定义函数

本文为您介绍如何为实时计算Flink版自定义标量函数(UDF)、自定义聚合函数(UDAF)、自定义表值函数(UDTF)编写业务代码及上线。 自定义标量函数(UDF) 定义 自定义标量函数(UDF)将0个、1个或多个标量值映射到一个新的标量值。 为了定义标量函数,必须在org.apache.flink.table.functions中扩展基类Scalar Function,并实现(一个或多个)求值(evaluation,eval)方法。标量函数的行为由求值方法决定,求值方法必须公开声明并命名为eval

Samooyou的博客 1012

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

flink UDF/UDAF/UDTF详解

flink udf/udaf/udtf

qq_33615604的博客 3478

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Flink-sql自定义udtf 函数

1. 用自定义的函数在Flink Sql 中使用 1.1 官网也说的很详细 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/udfs.html 1.1.1 官网上面的例子: import org.apache.flink.table.annotation.DataTypeHint; import org.apache.flink.table.annotation.FunctionHint; im

wudonglianga的专栏 1081

Flink SQL UNNEST/UDTF 如何实现列转行?

在 SQL 任务里面经常会遇到一列转多行的需求,今天就来总结一下在 Flink SQL 里面如何实现列转行的,先来看下面的一个具体案例. 需求: 原始数据格式如下 name data JasonLee [{"content_type":"flink","url":"111"},{"content_type":"spark","url":"222"},{"content_t...

微信公众号:大数据从业者 1586
上一篇: 数据分析小结:使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换
下一篇: Flink 实践教程-进阶(10):自定义聚合函数(UDAF)
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值