Flink SQL 使用UDF函数实现将多行值转为数组

最新推荐文章于 2024-10-14 15:53:41 发布

原创

最新推荐文章于 2024-10-14 15:53:41 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#flink #sql #大数据

1、背景

在使用Flink SQL同步数据的实际场景中，会碰到需要将多行数据转为数组的情况。
以MySQL同步ES为例，假如我们需要把每个学生的选修课程用数组格式存到ES。

name	course
苏苏	语文
苏苏	数学
苏苏	英语
橙橙	政治
橙橙	物理
橙橙	计算机

需要得到以下结果：

name	course_arr
苏苏	[语文, 数学，英语]
橙橙	[政治, 物理, 计算机]

2、问题

2.1 试过一些可能可以使用的聚合函数都不满足条件。

函数名	返回类型
COLLECT	MULTISET
LISTAGG	STRING

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

码农无奇

关注关注

12
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据Flink（一百二十）：Flink SQL自定义函数（UDF）

Lansonli（蓝深李）的博客

09-17

2281

点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。

FlinkSql-UDF

someInNeed的博客

02-27

749

在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为Scala 的Table API注册函数。函数通过调用registerFunction()方法在TableEnvironment中注册。当用户定义的函数被注册时，它被插入到TableEnvironment的函数目录中，这样Table API或SQL解析器就可以识别并正确地解释它。

参与评论您还未登录，请先登录后发表或查看评论

FLINK SQL UDF

王小工小工历程

10-14

1825

在Flink SQL中，UDF（User-Defined Function，用户自定义函数）是一种扩展Flink SQL处理能力的机制。通过UDF，用户可以编写自定义的Java或Scala代码，以处理Flink SQL无法直接支持的数据处理逻辑。

FlinkSQL 解析字符串+行转列

lhxsir的博客

07-06

2191

近期遇到一个实时flinksql需求，需要根据ids数组字段解析成名称数组字段。。。其中parent_path存放的内容是点号分割的字符串"1659077318807721985.1659120595539924993.1659121050219255810"

flink的udtf中String[]转String数组

微电子学与固体电子学-俞驰

12-11

1497

因爲udtf需要進1出3 於是就有了String[]转String数组的需要，具體實現如下: public void eval(String str) { String[] split = str.split("#"); // for (String s : split) // { // collect(s); // } Tuple3<String,String,String>...

SQL字符串转换为数组

weixin_34326429的博客

03-12

1328

/*一、按指定符号分割字符串，返回分割后的元素个数，方法很简单，就是看字符串中存在多少个分隔符号，然后再加一，就是要求的结果。-----rtrim(@str)去掉 @str右边的字符 ltrim(@str)去掉左边的字符 ltrim(rtrim(@str))去掉左右空格-------charindex 在变量@str中@split的index即索引值createfunc...

FlinkSQL之UDF函数

sijiwang95的博客

04-12

575

表值聚合函数：多进多出。标量函数：一进一出。表值函数：一进多出。

Flink-SQL-UDF(自定义函数)

silmeweed的博客

08-04

6545

主要讲三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力. 1.用户自定义函数在使用之前是必须要注册的。调用TableEnvironment的registerFunction()方法来实现注册。Udf注册成功之后，会被插入TableEnvironment的function catalog，这样table API和sql就能解析他了。 2.

FLINKSQL自定义UDF函数1之collect_list&collect_set

feiyangailing的博客

03-30

4693

FLINKSQL自定义UDF函数1之collect_list&collect_set` 文章目录FLINKSQL自定义UDF函数1之collect_list&collect_set`前言一、collection_list1.编写CollectList类注意点1.1类型的输入1.2方法1.3测试结果展示2.collection_set注意点1.1这里我使用Set直接作为ACC有问题1.2 测试结果总结前言由于flink里面没有hive的collection_list以及collectio

Flink-Sql自定义UDF

baifanwudi的专栏

07-22

7481

最近尝试使用flink的table-sql，发现没有from_unixtime函数，只能自定义该udf。原始kafka消息日志 {"action":"exposure","itemId":"16c65063e51d4d834722bf1a4b1d6378@TT@1576","rankIndex":14,"time":"1563641998","unionId":"ohmdTtymqiQw5aSx...

flink sql之自定义UDF

启迪思维，精进技术

12-31

1677

三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 一、Scalar Functions 标量函数标量函数，是指返回一个值的函数。标量函数是实现将0，1，或者多个标量值转化为一个新值。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public，命名为eval。evaluation方法的输入参数类型和返回值类型决定着标量函数的输入参数类型和返回值类型。evaluation方

（8）FlinkSQL自定义UDF

NBI大数据可视化

08-08

337

Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：

Flink实现UDF函数

chaohui2638457321的博客

01-22

1095

5.5.1 函数类(Function Classes) Flink暴露了所有UDF函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。下面例子实现了FilterFunction接口： DataStream<String> flinkTweets = tweets.filter(new FlinkFilter()); public static class FlinkFilter implements Fil

Flink（42）：Flink之TableAPI和FlinkSQL中的函数（Functions）

yang_shibiao的博客

10-24

1043

window.open 实现session隔离_flink 1.11 集成zeppelin实现简易实时计算平台

weixin_39548972的博客

11-30

204

背景zeppelin不提供per job模式实时平台开发周期长基于zeppelin开发一个简易实时平台开发zeppelin Interpreter提交sql任务提交jar任务背景随着flink的蓬勃发展，zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。Web-based notebook t...

flinkSQL-udf Row中有多个Array格式编写

monsterXZB的博客

05-30

697

需求：今天想要编写一个UDF函数，返回的结果是一个嵌套的类型。

Flink1.15 SQL实现自定义UDF

大数据研习社

05-09

3333

类似于Hive UDF，Flink SQL提供了丰富的函数类型来自定义函数，从而为Flink SQL统计分析复杂的数据格式提供了重要手段。

Flink SQL 1.13处理数组类型数据（一行变多行）

czhang447的博客

08-13

4123

解析源数据中嵌套的数组，数据一行变多行。Flink 版本： 1.13。

flinksql 流表转换，自定义udf/udtf，SQL 内置函数及自定义函数

Direction_Wind的博客

02-20

1651

1、在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为 Scala 的 Table API 注册函数。2、函数通过调用 registerFunction（）方法在 TableEnvironment 中注册。当用户定义的函数被注册时，它被插入到 TableEnvironment 的函数目录中，这样 Table API 或 SQL 解析器就可以识别并正确地解释它函数总结，函数总分为四大类。

flinkSql UDF函数

最新发布

06-17

### 创建和使用Flink SQL中的UDF函数在Flink SQL中，用户定义函数（User Defined Function, UDF）允许开发者扩展SQL的功能以满足特定需求。以下是创建和使用UDF函数的详细方法[^1]。 #### 1. 定义UDF类首先需要定义一个Java或Scala类来实现UDF逻辑。例如，以下代码展示了一个将字符串转换为大写的简单UDF： ```java import org.apache.flink.table.functions.ScalarFunction; public class ToUpperCase extends ScalarFunction { public String eval(String str) { if (str == null) { return null; } return str.toUpperCase(); } } ``` 上述代码定义了一个名为`ToUpperCase`的标量函数（Scalar Function），它接受一个字符串作为输入，并返回该字符串的大写形式[^1]。 #### 2. 注册UDF 注册UDF可以通过编程方式或SQL语句完成。以下是两种常见的注册方法： - **编程方式**：通过`TableEnvironment`注册UDF。 ```java tableEnv.createTemporarySystemFunction("ToUpperCase", ToUpperCase.class); ``` - **SQL方式**：使用`CREATE FUNCTION`语句注册UDF。 ```sql CREATE TEMPORARY FUNCTION to_upper AS 'udf.ToUpperCase'; ``` 在SQL语句中，`'udf.ToUpperCase'`表示包含完整包名的UDF类名[^3]。 #### 3. 使用UDF 注册完成后，可以在SQL查询中直接调用UDF。例如： ```sql SELECT to_upper(name) AS upper_name FROM example_table; ``` 此查询将`example_table`中的`name`列的所有值转换为大写[^1]。 #### 4. 自定义表值函数（UDTF）除了标量函数，还可以定义表值函数（UDTF）。以下是一个示例，展示如何将字符串按下划线分割成多行数据[^2]： ```java package udf; import org.apache.flink.table.annotation.DataTypeHint; import org.apache.flink.table.annotation.FunctionHint; import org.apache.flink.table.functions.TableFunction; import org.apache.flink.types.Row; @FunctionHint(output = @DataTypeHint("ROW<word STRING>")) public class SplitFunction extends TableFunction<Row> { public void eval(String str) { for (String s : str.split("_")) { collect(Row.of(s)); } } } ``` 注册并使用该UDTF的示例如下： ```sql CREATE TEMPORARY FUNCTION split AS 'udf.SplitFunction'; SELECT a, b, c, d, e FROM function_udf, LATERAL TABLE(split(a)) AS T(d, e); ``` #### 5. 集成Hive UDF Flink还支持直接使用Hive UDF。例如，以下代码展示了如何注册一个Hive UDF[^3]： ```sql CREATE TEMPORARY FUNCTION test_hive_udf AS 'flink.examples.sql._09.udf._02_stream_hive_udf.TestGenericUDF'; ``` ### 注意事项 - 在使用自定义函数时，确保类路径正确配置，且UDF类已编译并打包到项目中。 - 对于复杂的数据类型转换，建议使用`@FunctionHint`注解提供类型推断帮助[^2]。