Flink 实践教程-进阶(8):自定义标量函数(UDF)

Flink SQL JDBC你踩过的坑 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介  

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

操作教程

本文将您详细介绍如何使用自定义标量函数(UDF),对随机产生的数据进行处理后存入 MySQL 中。

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3],点击【新建】。具体可参考官方文档 创建 MySQL 实例 [4]。进入实例后,单击右上角【登陆】即可登陆 MySQL 数据库。

创建 MySQL 表

-- 建表语句,用于接收 Sink 端数据
CREATE TABLE `udf_output` (
 `id`        int(10) NOT NULL,
 `len_name`  int(10) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

开发 UDF

这里定义一个获取字符串字段长度的函数。如果传入一个字段,则获取这个字段的长度后返回;如果传入两个字段,则获取这两个字段的长度和后返回。

1. 代码编写

在本地IDE中创建 maven 项目,编写自定义函数UDF的代码。

// 类名:StringLengthUdf
package demos.UDF;


import org.apache.flink.table.functions.ScalarFunction;


public class StringLengthUdf extends ScalarFunction {


   public long eval(String a) {
       return a == null ? 0 : a.length();
  }


   public long eval(String b, String c) {
       return eval(b) + eval(c);
  }
}

2. 项目打包

使用 IDEA 自带打包工具 Build Artifacts 或者命令行进行打包。命令行打包命令:

mvn clean package

命令行打包后生成的 JAR 包可以在项目 target 目录下找到。

流计算 Oceanus 作业

上传依赖

在 Oceanus 控制台,点击左侧【依赖管理】,点击左上角【新建】新建依赖,上传本地 JAR 包。

创建 SQL 作业

在 Oceanus 控制台,点击左侧【作业管理】,点击左上角【新建】新建作业,作业类型选择 SQL 作业,点击【开发调试】进入作业编辑页面。单击【作业参数】,在【引用程序包】处选择刚才上传的 JAR 包。

1. 创建 Function

CREATE TEMPORARY SYSTEM FUNCTION StringLengthUdf AS 'demos.UDF.StringLengthUdf';

StringLengthUdf代表创建的函数名,demos.UDF.StringLengthUdf代表类路径。

2. 创建 Source

CREATE TABLE random_source (
id INT,
name1 VARCHAR,
name2 VARCHAR
 ) WITH (
 'connector' = 'datagen',
 'rows-per-second'='1',          -- 每秒产生的数据条数
 'fields.id.kind'='sequence',    -- 无界的随机数
 'fields.id.start'='1',          -- 随机数的最小值
 'fields.id.end'='5',            -- 随机数的最大值
 'fields.name1.length'='10',     -- 随机字符串的长度
 'fields.name2.length'='10'      -- 随机字符串的长度
);

3. 创建 Sink

CREATE TABLE `jdbc_upsert_sink_table` (
   `id` INT,
   `len_name` INT,
   PRIMARY KEY(id) NOT ENFORCED
) WITH (
   -- 指定数据库连接参数
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://xx.xx.xx.xx:xxxx/testdb?rewriteBatchedStatements=true&serverTimezone=Asia/Shanghai',         -- 请替换为您的实际 MySQL 连接参数
   'table-name' = 'udf_output',           -- 需要写入的数据表
   'username' = 'root',                   -- 数据库访问的用户名(需要提供 INSERT 权限)
   'password' = 'xxxxxxxxx',              -- 数据库访问的密码
   'sink.buffer-flush.max-rows' = '200',  -- 批量输出的条数
   'sink.buffer-flush.interval' = '2s'    -- 批量输出的间隔
);

4. 编写业务 SQL

INSERT INTO jdbc_upsert_sink_table
SELECT
id,
CAST(StringLengthUdf(name1,name2) AS INT) AS `len_name`
FROM random_source;

运行作业

点击【发布草稿】->【运行版本】即可运行,可通过【日志】面板 TaskManager 或 Flink UI 查看运行信息。

总结

本文首先在本地开发 UDF 函数,将其打成 JAR 包后上传到 Oceanus 平台引用。接下来使用 Datagen 连接器产生虚拟数据,调用 UDF 函数进行不同字段的字符串长度的加和操作后存入 MySQL 中。

  • 自定义标量函数(UDF)将0个、1个或多个标量值映射到一个新的标量值。

  • UDF 需要在 ScalarFunction 类中实现 eval 方法,且必须声明为 public 类型;自定义函数中 open 方法和 close 方法可选;可被重载,即在一个 UDF 中实现多个 eval 方法。

参考链接

[1] Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview  

[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298  

[3] MySQL 控制台:https://console.cloud.tencent.com/cdb  

[4] 创建 MySQL 实例:https://cloud.tencent.com/document/product/236/46433  

Flink SQL 常用调优 1、建表 1.1、JDBC connection.max-retry-timeout 可选 60s Duration 最大重试超时时间,以秒为单位且不应该小于 1 秒。 scan.partition.column 可选 (none) String 用于将输入进行分区的列名。请参阅下面的分区扫描部分了解更多详情。 scan.partition.num 可选 (none) Integer 阅读详情

相关推荐

详解 Flink Table API 和 Flink SQL 之函数

UDF 显著地扩展了查询的表达能力,可以解决一些系统内置函数无法解决的需求。使用步骤为:自定义 UDF 函数类继承 UserDefinedFunction 抽象类;创建 UDF 实例并在环境中调用 registerFunction() 方法注册;在 Table API 或 SQL 中使用。

weixin_44480009的博客 1467

Flink从入门到精通

本课程从0到1进行Flink的介绍,对当下最火的大数据技术Flink进行深入解析,并结合实际电商项目快速掌握Flink的开发技术。

f基础入门8--flinkSQL

@TOC 把table转换成为datastream的时候,做了哪些操作? 可以吧datastream API和tableAPI集合起来一起用。甚至可以一段代码的处理程序里面,前面做datastream的转换,转换成某个datastream的时候,然后再转换成表,然后调用table API做一些操作。哪种方式更容易实现需求就用哪种方式。 需要注意的是,表转换成流的时候,没有更新模式。流输出了,不可能在输出的结果基础上再修改。流之前的数据已经输出到了下游,已经溜过去了。所以upsert模式在流里面没哟办法直

weixin_45150724的博客 2117

Flink UDF函数

Flink UDF函数介绍

qq_32486597的博客 1875

【Flink】Flink各种UDF简介

1.本文会主要讲三种udf: ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征,因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外,最后会介绍一个redis作为交互数据源的udf案例。 2.注册用户自定义函数 在大多数场景下,用户自定义函数在使用之前是必须要注册的。对于Scala的Table API,udf是不需要注册的。 调用TableEnvironment的registerFunction()方法来实现注册。U.

九师兄 8431

Flink系列之:详细深入介绍Flink SQL系统函数和自定义函数UDF

Flink系列之:详细深入介绍Flink SQL系统函数和自定义函数UDF

zhengzaifeidelushang的博客 898

秒懂Flink:Flink UDF自定义函数开发教程

Flink UDF(用户自定义函数)是Flink生态中强大的扩展机制,允许开发者根据业务需求定制数据处理逻辑。本教程将带你快速掌握Flink UDF的开发方法,从基础概念到实战案例,轻松上手自定义函数开发。 ## 为什么需要Flink UDF? Flink内置函数虽然丰富,但在实际业务场景中,我们经常需要处理复杂的业务逻辑或特定的数据转换需求。Flink UDF提供了灵活的扩展方式,让你能够:

gitblog_00954的博客 337

SHAP图全解析:从理论到实践,教你如何读懂和优化模型特征

本文全面解析SHAP图,从博弈论基础到实战应用,指导读者如何解读和利用SHAP值优化机器学习模型。通过详解特征重要性条形图、小提琴图、依赖图及决策图等关键可视化工具,帮助数据科学家精准诊断模型、识别特征交互,并将洞见转化为特征工程与模型调试的实际行动,有效提升模型可解释性与性能。

svm4gardener的博客 191

Flink使用指南: Flink SQL自定义函数

系列文章目录 Flink使用指南 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pand..

徐腾瑞的博客 5621

unity | 动画模块之滚动选项框

动画模块之滚动选项框

菌菌兹的博客 2077

openlayers6【十九】vue HeatmapLayer热力图层实现热力图效果详解

文章目录1. 写在前面2. Heatmap 类实现热力图2.1 Heatmap 参数2.2 实现热力图3. 完整代码4. 添加删除map图层的方法5. 热力图自身的get,set方法 1. 写在前面 我们主要看热力图的效果,区域绘制效怎么设置详细内容可以访问 openlayers6【十七】vue VectorLayer矢量图层画地图省市区,多省市区(粤港澳大湾区)效果详解 在 openlayers 中,图层是使用 layer 对象表示的,主要有 WebGLPoints Layer、热度图(HeatMap L

@必意玲 1万+

Flink UDF自动注册实践

本文作者:林夕_Yume,文章来源:https://www.jianshu.com/p/5ddd694f9e52日前,在更新UDF函数这块的一些功能时,发现一些较为细小但...

微信搜:import_bigdata,大数据领域硬核原创作者 921

WebVTT中的文本轨道(Text Tracks,TT)到底是什么鬼?

WebVTT,全称是The Web Video Text Tracks Format,意思是网络视频文本轨道格式。那么到底什么是文本轨道(Text Tracks)呢?这篇文章希望一探究竟。

码农1479的博客 1989

10个实战技巧:用Arroyo构建高性能Flink UDF提升流处理效率

Arroyo是一个用Rust编写的分布式流处理引擎,它提供了强大的自定义函数(UDF)功能,帮助开发者优化流处理性能。本文将分享10个实用技巧,教你如何构建高效的Flink UDF,提升流处理效率。 ## 为什么UDF对Flink流处理至关重要? 在流处理中,自定义函数(UDF)是实现业务逻辑的核心组件。一个高效的UDF可以显著提升整个流处理管道的性能。Arroyo作为高性能的流处理引擎,提供

gitblog_00628的博客 866

基于高斯两步移动搜寻法(2SFCA)的城市绿地可达性分析

第二步,对于每一个街道i,给定空间距离阈值d0,便形成另一个空间作用域,同样对于落在空间作用域内的每块绿地l的供给比率(Rl)利用高斯方程赋以权重,然后对这些加权后的供给比率(Rl)进行加和,便得到每个街道i的绿地可达性Ai。图3与图4是高斯两步移动搜索法的示例。在图3中,以d0为阈值,有1、2、3 三个街道中心点落在了绿地a的空间作用域内。同样在图4中,以d0为阈值,有a、c两个绿地中心点落在了街道2的空间作用域内,根据公式(3),对a、c高斯方程加权后的供需比率进行累加,便得到了街道2 的绿地可达性。

2301_77310370的博客 2405

汇川Easy系列斜坡函数功能块(支持状态输出)

IN rSetValue REAL 0.000000 0.000000 不保持 目标值 1IN rMaxValue REAL 0.000000 0.000000 不保持 最大目标值 2IN rMinValue REAL 0.000000 0.000000 不保持 最小目标值 3IN rSmoothTime REAL 100.000000 100.0000 不保持 最小到最大值平滑时间 单位 秒 4IN diTs DINT 10 10 不保持 函数调用周期采样时间中断时间 5。

RXXW_Dor的博客 463

FlinkSQL内置了这么多函数你都使用过吗?

前言          Flink Table 和 SQL 内置了很多 SQL 中支持的函数;如果有无法满足的需要,则可以实现用户自定义的函数(UDF)来解决。 一、系统内置函数          Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数。SQL 中支持的很多函数,Table API 和 SQL 都已经做了实

大数据记录 3718

CDR插件开发之CPG插件017 - 在VS2019中实现CPG插件调试(自动写入CPG、自动启动CDR)

在上篇文章中,讲解了图像导出实例:当文档打开后,自动导出当前页面的图像到系统临时文件夹。在代码编写过程中,导出图像路径变量tmpFileName 被修改了很多次,有没有办法实现调试功能,通过控制台打印变量,而不用编译成CPG后再通过消息框来调试?当然是可以的。本篇作为单独篇,以CDR X8版本为例,讲解CPG插件在VS2019中实现调试的具体方法。 工程搭建准备 按照惯例,本篇文章的序号为017,请直接拷贝上一个工程016-export-image(拷贝前最好清理掉 Debug、x64等编译目录..

Zebe 1811

Flink1.14学习测试:将数据写入到Hive&Hdfs(二)

flink kafka sink to hive

LmingAn的博客 3766

【工具篇】万字长文拆解 Otter.ai:语音转文字领域的「瑞士军刀」是如何炼成的?(附保姆级教程)

但需要注意,2024年欧盟已出台《AI转录伦理指南》,要求所有录音需获得参与者明确授权。举个真实案例:某硅谷创业团队用Otter.ai记录产品评审会,系统自动标红争议点并生成待办事项,会议效率提升40%。AIGC技术原理、 实时转录解析、 定价策略分析、 语音算法拆解、 多平台兼容测试、 深度学习框架、 空间计算专利。——无论是跨国会议、课堂讲座还是深夜灵感,它都能实时生成带时间戳的文本记录,准确率高达95%。(此处建议插入Otter.ai会议转录动图,展示实时字幕生成效果)(数据来源:综合参考文献整理)

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 1265

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

3大痛点解决!Apache Flink Python UDF从入门到性能优化指南

你还在为Python UDF执行效率低而头疼?还在纠结如何调试分布式环境下的函数异常?本文将通过**场景化案例+可视化图表+实测代码**,带你掌握Flink Python UDF的开发精髓,从基础语法到性能调优全流程通关。读完你将获得: - 3种UDF类型的快速上手方法 - 5个性能优化技巧(含Pandas向量化加速) - 2套调试监控方案 - 1份避坑指南(附官方示例代码) ## 一、Pyth...

gitblog_00093的博客 421

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Flink流式处理框架中的Table API和Flink SQL

一、Table API和Flink SQL是什么? 1)Flink对批处理和流处理,提供了统一的上层API; 2)Table API是一套内嵌在Java和Scala语言中的查询API,它允许以非常直观的方式组合来自一些关系运算符的查询; 3)Flink的SQL支持基于实现了SQL标准的Apache Calcite; 1、基本程序结构 1)Table API和SQL的程序结构,与流式处理的程序结构十分类似 2、创建TableEnvironment 1)创建表的执行环境,需...

Running-小猛的博客 1248

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Flink Table & SQL Catalog 及DataStream、Table相互转换

Catalog维护了Flink Table和SQL中的元数据,如Database、Table、View、UDF等。 Catalog类型 GenericInMemoryCatalog: 内置Catalog。名为default_catalog,默认数据库名为default_database。默认,如用TableEnvironment#registerTable注册的表,均会注册到这个Catalog...

王佩的优快云博客 5800

Flink学习12-FlinkTab&SQL(二)

默认分为三种:UDF:也叫标量函数,输入一行返回一行UDAF:也叫表值函数,输入一行返回多行UDTF:比较特殊,官方分为聚合函数和表聚合函数两种。前一种实现输入多行返回一行,后一种输入多行返回一张表。接下来通过三个案例来实现自定义函数三种自定义函数实现方式官网有对应模版,这里不在强调对应写法。但在编写自定义函数时有几点注意事项:1、数据类型推导Flink 自定义函数实现了自动的类型推导提取,通过反射从函数的类及其求值方法中派生数据类型。

qq_40342691的博客 369

flink学习笔记(五)

文章目录八、TableAPI和FlinkSQL简介simple example创建TableEnviroment表(Table)从文件读取数据从kafka读取数据表的查询(Table API)简单查询SQL简单查询简单聚合,统计每一个传感器的温度SQL实现简单聚合表和流的转化将数据输入到文件中更新模式追加(Append)模式撤回(Retract)模式更新插入(Upsert)模式向kafka输入数据时间特性(Time Attributes)定义处理时间(Processing Time)定义事件事件(Event

m0_50896456的博客 463

Flink SQL

# 创建数据库# 举例## 查询数据库# 查询当前数据库# 修改数据库# 删除数据库# RESTRICT:删除非空数据库会触发异常。默认启用# CASCADE:删除非空数据库也会删除所有相关的表和函数## 切换当前数据库系统函数尽管庞大,也不可能涵盖所有的功能;如果有系统函数不支持的需求,我们就需要用自定义函数(User Defined Functions,UDF)来实现了。Flink的Table API和SQL提供了多种自定义函数的接口,以抽象类的形式定义。

Shawn的个人博客 2405
上一篇: 基于流计算 Oceanus(Flink) CDC 做好数据集成场景
下一篇: 数据分析小结:使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值