Flink SQL 使用UDF函数实现将多行值转为数组

最新推荐文章于 2025-09-30 03:51:50 发布
原创 最新推荐文章于 2025-09-30 03:51:50 发布 · 1.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #sql #大数据

1、背景

在使用Flink SQL同步数据的实际场景中，会碰到需要将多行数据转为数组的情况。
以MySQL同步ES为例，假如我们需要把每个学生的选修课程用数组格式存到ES。

name course
苏苏 语文
苏苏 数学
苏苏 英语
橙橙 政治
橙橙 物理
橙橙 计算机

需要得到以下结果：

name course_arr
苏苏 [语文, 数学，英语]
橙橙 [政治, 物理, 计算机]

2、问题

2.1 试过一些可能可以使用的聚合函数都不满足条件。

函数名 返回类型
COLLECT MULTISET
LISTAGG STRING
最低0.47元/天 解锁文章
FlinkSql-UDF
someInNeed的博客
02-27 795
在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为Scala 的Table API注册函数。函数通过调用registerFunction()方法在TableEnvironment中注册。当用户定义的函数被注册时，它被插入到TableEnvironment的函数目录中，这样Table API或SQL解析器就可以识别并正确地解释它。
大数据Flink（一百二十）：Flink SQL自定义函数（UDF）
Lansonli（蓝深李）的博客
09-17 2542
点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。
FLINK SQL UDF
王小工小工历程
10-14 2032
在Flink SQL中，UDF（User-Defined Function，用户自定义函数）是一种扩展Flink SQL处理能力的机制。通过UDF，用户可以编写自定义的Java或Scala代码，以处理Flink SQL无法直接支持的数据处理逻辑。
Apache Flink SQL数组与JSON类型处理：函数与操作符
最新发布
gitblog_01026的博客
09-30 1262
你是否在处理复杂数据类型时感到无从下手？本文将系统介绍Apache Flink SQL中数组（Array）与JSON类型的核心函数及操作符，通过实用示例帮助你轻松应对嵌套数据处理场景。读完本文后，你将掌握数组的创建与访问、JSON的解析与生成，以及常见问题的解决方案。 ## 数组（Array）类型处理 ### 数组函数速查表 | 函数名称 | 功能描述 | 示例 | |---------|-...
flink的udtf中String[]转String数组
微电子学与固体电子学-俞驰
12-11 1607
因爲udtf需要進1出3 於是就有了String[]转String数组的需要， 具體實現如下: public void eval(String str) { String[] split = str.split("#"); // for (String s : split) // { // collect(s); // } Tuple3<String,String,String>...
SQL字符串转换为数组
weixin_34326429的博客
03-12 1343
/*一、按指定符号分割字符串，返回分割后的元素个数，方法很简单，就是看字符串中存在多少个分隔符号，然后再加一，就是要求的结果。-----rtrim(@str)去掉 @str右边的字符 ltrim(@str)去掉左边的字符 ltrim(rtrim(@str))去掉左右空格-------charindex 在变量@str中@split的index即索引值createfunc...
FlinkSQL 解析字符串+行转列
lhxsir的博客
07-06 2342
近期遇到一个实时flinksql需求，需要根据ids数组字段解析成名称数组字段。。。其中parent_path存放的内容是点号分割的字符串"1659077318807721985.1659120595539924993.1659121050219255810"
FlinkSQL之UDF函数
sijiwang95的博客
04-12 635
表值聚合函数：多进多出。标量函数：一进一出。表值函数：一进多出。
flinkSQL-udf Row中有多个Array格式编写
monsterXZB的博客
05-30 764
需求：今天想要编写一个UDF函数，返回的结果是一个嵌套的类型。
Flink-SQL-UDF(自定义函数)
silmeweed的博客
08-04 6617
主要讲三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力. 1.用户自定义函数在使用之前是必须要注册的。调用TableEnvironment的registerFunction()方法来实现注册。Udf注册成功之后，会被插入TableEnvironment的function catalog，这样table API和sql就能解析他了。 2.
FLINKSQL自定义UDF函数1之collect_list&collect_set
feiyangailing的博客
03-30 4785
FLINKSQL自定义UDF函数1之collect_list&collect_set` 文章目录FLINKSQL自定义UDF函数1之collect_list&collect_set`前言一、collection_list1.编写CollectList类注意点1.1类型的输入1.2方法1.3测试结果展示2.collection_set注意点1.1这里我使用Set直接作为ACC有问题1.2 测试结果总结 前言 由于flink里面没有hive的collection_list以及collectio
Flink-Sql自定义UDF
baifanwudi的专栏
07-22 7511
最近尝试使用flink的table-sql，发现没有from_unixtime函数，只能自定义该udf。 原始kafka消息日志 {"action":"exposure","itemId":"16c65063e51d4d834722bf1a4b1d6378@TT@1576","rankIndex":14,"time":"1563641998","unionId":"ohmdTtymqiQw5aSx...
flink sql之自定义UDF
启迪思维，精进技术
12-31 1740
三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 一、Scalar Functions 标量函数 标量函数，是指返回一个值的函数。标量函数是实现将0，1，或者多个标量值转化为一个新值。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public，命名为eval。evaluation方法的输入参数类型和返回值类型决定着标量函数的输入参数类型和返回值类型。evaluation方
（8）FlinkSQL自定义UDF
NBI大数据可视化
08-08 365
Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：
Flink实现UDF函数
chaohui2638457321的博客
01-22 1120
5.5.1 函数类(Function Classes) Flink暴露了所有UDF函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。 下面例子实现了FilterFunction接口： DataStream<String> flinkTweets = tweets.filter(new FlinkFilter()); public static class FlinkFilter implements Fil
Flink（42）：Flink之TableAPI和FlinkSQL中的函数（Functions）
yang_shibiao的博客
10-24 1190
目录 0. 相关文章链接 1. 系统内置函数 1.1. 比较函数 1.2. 逻辑函数 1.3. 算术函数 1.4. 字符串函数 1.5. 时间函数 1.6. 聚合函数 2. UDF 2.1.注册用户自定义函数UDF 2.2.标量函数（Scalar Functions） 2.3.表函数（Table Functions） 2.4.聚合函数（Aggregate Functions） 2.5.表聚合函数（Table Aggregate Functions） 0. 相关文章链接...
window.open 实现session隔离_flink 1.11 集成zeppelin实现简易实时计算平台
weixin_39548972的博客
11-30 218
背景zeppelin不提供per job模式实时平台开发周期长基于zeppelin开发一个简易实时平台开发zeppelin Interpreter提交sql任务提交jar任务背景随着flink的蓬勃发展，zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。Web-based notebook t...
Flink SQL 之 Aggregation&UDF
maben996
02-10 1443
文章目录Flink SQL IntroductionAggregationWindow AggregationGroup Aggregationwindow 聚合与非 window 聚合的区别自定义函数自定义标量函数 UDF自定义聚合函数 UDAF自定义表值函数 UDTF Flink SQL Introduction 声明式 API，也是 Flink 最高层的 API，易于使用。 自动优化，屏蔽 ...
Flink1.15 SQL实现自定义UDF
大数据研习社
05-09 3464
类似于Hive UDF，Flink SQL提供了丰富的函数类型来自定义函数，从而为Flink SQL统计分析复杂的数据格式提供了重要手段。
flinksql 自定义udf函数，字符集转换函数
08-19
我们正在使用Flink SQL，需要创建一个自定义的UDF函数来实现字符集转换（例如从GBK转UTF-8）。在Flink中，用户自定义函数（UDF）可以是标量函数（Scalar Function）、表函数（Table Function）、聚合函数（Aggregate...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值