Flink SQL 使用UDF函数实现将多行值转为数组

最新推荐文章于 2025-09-30 03:51:50 发布
原创 最新推荐文章于 2025-09-30 03:51:50 发布 · 1.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #sql #大数据

1、背景

在使用Flink SQL同步数据的实际场景中，会碰到需要将多行数据转为数组的情况。
以MySQL同步ES为例，假如我们需要把每个学生的选修课程用数组格式存到ES。

name course
苏苏 语文
苏苏 数学
苏苏 英语
橙橙 政治
橙橙 物理
橙橙 计算机

需要得到以下结果：

name course_arr
苏苏 [语文, 数学，英语]
橙橙 [政治, 物理, 计算机]

2、问题

2.1 试过一些可能可以使用的聚合函数都不满足条件。

函数名 返回类型
COLLECT MULTISET
LISTAGG STRING
最低0.47元/天 解锁文章
FlinkSql-UDF
someInNeed的博客
02-27 795
在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用。不需要专门为Scala 的Table API注册函数。函数通过调用registerFunction()方法在TableEnvironment中注册。当用户定义的函数被注册时，它被插入到TableEnvironment的函数目录中，这样Table API或SQL解析器就可以识别并正确地解释它。
大数据Flink（一百二十）：Flink SQL自定义函数（UDF）
Lansonli（蓝深李）的博客
09-17 2542
点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。
FLINK SQL UDF
王小工小工历程
10-14 2033
在Flink SQL中，UDF（User-Defined Function，用户自定义函数）是一种扩展Flink SQL处理能力的机制。通过UDF，用户可以编写自定义的Java或Scala代码，以处理Flink SQL无法直接支持的数据处理逻辑。
Apache Flink SQL数组与JSON类型处理：函数与操作符
最新发布
gitblog_01026的博客
09-30 1262
你是否在处理复杂数据类型时感到无从下手？本文将系统介绍Apache Flink SQL中数组（Array）与JSON类型的核心函数及操作符，通过实用示例帮助你轻松应对嵌套数据处理场景。读完本文后，你将掌握数组的创建与访问、JSON的解析与生成，以及常见问题的解决方案。 ## 数组（Array）类型处理 ### 数组函数速查表 | 函数名称 | 功能描述 | 示例 | |---------|-...
FlinkSQL Tips
weixin_38251332的博客
04-18 924
FlinkSQL使用小技巧总结
flink的udtf中String[]转String数组
微电子学与固体电子学-俞驰
12-11 1607
因爲udtf需要進1出3 於是就有了String[]转String数组的需要， 具體實現如下: public void eval(String str) { String[] split = str.split("#"); // for (String s : split) // { // collect(s); // } Tuple3<String,String,String>...
SQL字符串转换为数组
weixin_34326429的博客
03-12 1343
/*一、按指定符号分割字符串，返回分割后的元素个数，方法很简单，就是看字符串中存在多少个分隔符号，然后再加一，就是要求的结果。-----rtrim(@str)去掉 @str右边的字符 ltrim(@str)去掉左边的字符 ltrim(rtrim(@str))去掉左右空格-------charindex 在变量@str中@split的index即索引值createfunc...
FlinkSQL 解析字符串+行转列
lhxsir的博客
07-06 2342
近期遇到一个实时flinksql需求，需要根据ids数组字段解析成名称数组字段。。。其中parent_path存放的内容是点号分割的字符串"1659077318807721985.1659120595539924993.1659121050219255810"
flinkSQL-udf Row中有多个Array格式编写
monsterXZB的博客
05-30 764
需求：今天想要编写一个UDF函数，返回的结果是一个嵌套的类型。
FlinkSQL之UDF函数
sijiwang95的博客
04-12 635
表值聚合函数：多进多出。标量函数：一进一出。表值函数：一进多出。
Flink-SQL-UDF(自定义函数)
silmeweed的博客
08-04 6617
主要讲三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力. 1.用户自定义函数在使用之前是必须要注册的。调用TableEnvironment的registerFunction()方法来实现注册。Udf注册成功之后，会被插入TableEnvironment的function catalog，这样table API和sql就能解析他了。 2.
FLINKSQL自定义UDF函数1之collect_list&collect_set
feiyangailing的博客
03-30 4785
FLINKSQL自定义UDF函数1之collect_list&collect_set` 文章目录FLINKSQL自定义UDF函数1之collect_list&collect_set`前言一、collection_list1.编写CollectList类注意点1.1类型的输入1.2方法1.3测试结果展示2.collection_set注意点1.1这里我使用Set直接作为ACC有问题1.2 测试结果总结 前言 由于flink里面没有hive的collection_list以及collectio
Flink-Sql自定义UDF
baifanwudi的专栏
07-22 7511
最近尝试使用flink的table-sql，发现没有from_unixtime函数，只能自定义该udf。 原始kafka消息日志 {"action":"exposure","itemId":"16c65063e51d4d834722bf1a4b1d6378@TT@1576","rankIndex":14,"time":"1563641998","unionId":"ohmdTtymqiQw5aSx...
flink sql之自定义UDF
启迪思维，精进技术
12-31 1740
三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 一、Scalar Functions 标量函数 标量函数，是指返回一个值的函数。标量函数是实现将0，1，或者多个标量值转化为一个新值。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public，命名为eval。evaluation方法的输入参数类型和返回值类型决定着标量函数的输入参数类型和返回值类型。evaluation方
（8）FlinkSQL自定义UDF
NBI大数据可视化
08-08 366
Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：
Flink实现UDF函数
chaohui2638457321的博客
01-22 1120
5.5.1 函数类(Function Classes) Flink暴露了所有UDF函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。 下面例子实现了FilterFunction接口： DataStream<String> flinkTweets = tweets.filter(new FlinkFilter()); public static class FlinkFilter implements Fil
Flink（42）：Flink之TableAPI和FlinkSQL中的函数（Functions）
yang_shibiao的博客
10-24 1191
目录 0. 相关文章链接 1. 系统内置函数 1.1. 比较函数 1.2. 逻辑函数 1.3. 算术函数 1.4. 字符串函数 1.5. 时间函数 1.6. 聚合函数 2. UDF 2.1.注册用户自定义函数UDF 2.2.标量函数（Scalar Functions） 2.3.表函数（Table Functions） 2.4.聚合函数（Aggregate Functions） 2.5.表聚合函数（Table Aggregate Functions） 0. 相关文章链接...
window.open 实现session隔离_flink 1.11 集成zeppelin实现简易实时计算平台
weixin_39548972的博客
11-30 218
背景zeppelin不提供per job模式实时平台开发周期长基于zeppelin开发一个简易实时平台开发zeppelin Interpreter提交sql任务提交jar任务背景随着flink的蓬勃发展，zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。Web-based notebook t...
Flink SQL 之 Aggregation&UDF
maben996
02-10 1443
文章目录Flink SQL IntroductionAggregationWindow AggregationGroup Aggregationwindow 聚合与非 window 聚合的区别自定义函数自定义标量函数 UDF自定义聚合函数 UDAF自定义表值函数 UDTF Flink SQL Introduction 声明式 API，也是 Flink 最高层的 API，易于使用。 自动优化，屏蔽 ...
flinksql 自定义udf函数，字符集转换函数
08-19
<think>我们正在使用Flink SQL，需要创建一个自定义的UDF函数来实现字符集转换（例如从GBK转UTF-8）。在Flink中，用户自定义函数（UDF）可以是标量函数（Scalar Function）、表函数（Table Function）、聚合函数（Aggregate Function）或表聚合函数（Table Aggregate Function）。对于字符集转换，我们只需要一个标量函数，因为它是一对一的转换。 步骤： 1. 创建一个实现`org.apache.flink.table.functions.ScalarFunction`的类。 2. 在类中实现`eval`方法，该方法将输入字符串从源字符集转换为目标字符集。 3. 注意处理可能的异常（如不支持的字符集、无效输入等）。 4. 将UDF注册到Flink的TableEnvironment中。 下面是一个示例UDF，它接收三个参数：输入的字符串、源字符集（如"GBK"）、目标字符集（如"UTF-8"）。如果只提供输入字符串，则默认从GBK转换为UTF-8。也可以只提供两个参数（输入字符串和目标字符集），则源字符集使用默认值。 但是，请注意，Flink UDF的`eval`方法可以重载。我们可以提供多个`eval`方法以适应不同的参数情况。 代码示例（使用Java）： ```java import org.apache.flink.table.functions.ScalarFunction; import java.nio.charset.Charset; import java.nio.charset.StandardCharsets; public class ConvertCharset extends ScalarFunction { // 默认从GBK转UTF-8 public String eval(String str) throws Exception { return eval(str, "GBK", StandardCharsets.UTF_8.name()); } // 指定源字符集，目标默认为UTF-8 public String eval(String str, String srcCharset) throws Exception { return eval(str, srcCharset, StandardCharsets.UTF_8.name()); } // 指定源字符集和目标字符集 public String eval(String str, String srcCharset, String dstCharset) throws Exception { if (str == null) { return null; } Charset src = Charset.forName(srcCharset); Charset dst = Charset.forName(dstCharset); // 将字符串从源字符集的字节数组转换为目标字符集的字符串 return new String(str.getBytes(src), dst); } } ``` 注意：上面的转换逻辑实际上是有问题的。因为`str.getBytes(src)`得到的是用源字符集编码的字节数组，然后我们用目标字符集去解码这个字节数组。但是，这里有一个误区：我们传入的字符串在Java中已经是Unicode（UTF-16）了。所以，正确的做法应该是：先将字符串按照源字符集编码成字节数组，然后再用目标字符集解码成字符串。 但是，上面的代码中，我们传入的字符串`str`已经是一个Java字符串（Unicode），所以我们不需要再对它用源字符集编码？实际上，我们想要模拟的是：我们有一个字节数组，它是以源字符集编码的，但是我们错误地把它解释成了Unicode（即我们现在的字符串是乱码），现在我们要把它转换回正确的Unicode字符串。 然而，在Flink中，我们接收的字符串可能已经是乱码（因为源数据是GBK编码的，但是被用ISO-8859-1或UTF-8错误解码成了字符串）。所以，我们需要先把这个字符串还原成原始的字节数组（使用错误解码时使用的字符集，通常是ISO-8859-1，因为它是单字节编码，不会改变字节值），然后再用正确的源字符集（GBK）重新解码。 但是，我们的UDF的输入字符串可能是从某个源（比如Kafka）读取的，而Flink在读取时可能已经用错误的字符集解码了。所以，更可靠的做法是，在读取数据时不要解码为字符串，而是保留为字节数组，然后在UDF中直接进行字符集转换。然而，如果我们的输入已经是字符串，那么我们就只能假设这个字符串是由某个字符集解码得到的，并且我们需要知道这个字符集是什么（通常这个字符集是错误的，我们需要纠正）。 因此，如果我们的输入是字符串（乱码），我们需要先将其转换为原始字节数组（使用错误解码的字符集，通常使用ISO-8859-1，因为它不会改变字节值），然后再用正确的源字符集（GBK）重新解码。但是，在我们的UDF中，我们无法知道最初错误解码的字符集是什么，所以我们需要假设错误解码的字符集是ISO-8859-1（或者说是单字节编码，这样每个字符对应一个字节）。 修正后的UDF（针对输入是乱码字符串的情况）： ```java public class ConvertCharset extends ScalarFunction { // 默认从GBK转UTF-8，假设输入字符串是用ISO-8859-1错误解码得到的 public String eval(String str) throws Exception { return eval(str, "GBK", StandardCharsets.UTF_8.name()); } public String eval(String str, String srcCharset) throws Exception { return eval(str, srcCharset, StandardCharsets.UTF_8.name()); } public String eval(String str, String srcCharset, String dstCharset) throws Exception { if (str == null) { return null; } // 将字符串（错误解码）还原为原始字节数组：使用ISO-8859-1编码（因为ISO-8859-1是单字节编码，不会改变字节值） byte[] bytes = str.getBytes(StandardCharsets.ISO_8859_1); // 现在用正确的源字符集（srcCharset）解码原始字节数组，得到正确的字符串（Unicode） String correctStr = new String(bytes, Charset.forName(srcCharset)); // 如果目标字符集不是UTF-8，我们可以再转换到目标字符集，但通常我们内部使用UTF-8，所以这一步可能不需要，除非需要输出特定字符集 // 但是，我们要求返回的是字符串（Flink内部是UTF-8），所以这里我们不需要再转换，因为Java字符串是Unicode。 // 但是，如果我们需要将字符串以特定字符集编码再返回？不，我们返回的是字符串，而Flink会以UTF-8编码处理。 // 所以，我们只需要将正确的字符串返回即可。 // 但是，如果调用者要求将字符串转换为目标字符集，那么我们需要将字符串用目标字符集重新编码再解码？这实际上没有必要，因为Java字符串是Unicode，而目标字符集是用于编码的。 // 实际上，我们只需要返回正确的字符串（Unicode），Flink会以UTF-8编码存储和传输。 // 所以，我们上面的转换已经得到了正确的字符串，直接返回即可。 return correctStr; } } ``` 但是，请注意：这种方法假设输入字符串是用ISO-8859-1错误解码得到的。如果输入字符串是用其他字符集错误解码的，那么这种方法就不正确了。因此，我们需要知道错误解码的字符集是什么。我们可以增加一个参数来指定错误解码的字符集。 改进：允许指定错误解码的字符集（即当前字符串是用什么字符集错误解码的）： ```java public class ConvertCharset extends ScalarFunction { // 最完整的转换：指定错误解码的字符集、源字符集（正确的原始编码）、目标字符集（通常我们不需要，因为返回的是Unicode字符串，但这里我们直接返回Unicode字符串，由Flink以UTF-8处理） // 但是，我们不需要转换到目标字符集，因为Java字符串是Unicode，Flink内部使用UTF-8。所以，我们只需要得到正确的Unicode字符串即可。 public String eval(String str, String wrongCharset, String srcCharset) throws Exception { if (str == null) { return null; } // 将字符串（用wrongCharset错误解码得到的）还原为原始字节数组 byte[] bytes = str.getBytes(Charset.forName(wrongCharset)); // 用正确的源字符集重新解码 return new String(bytes, Charset.forName(srcCharset)); } // 简化：假设错误解码的字符集是ISO-8859-1 public String eval(String str, String srcCharset) throws Exception { return eval(str, StandardCharsets.ISO_8859_1.name(), srcCharset); } // 进一步简化：默认源字符集为GBK public String eval(String str) throws Exception { return eval(str, StandardCharsets.ISO_8859_1.name(), "GBK"); } } ``` 这样，我们提供了灵活性。在大多数情况下，我们假设错误解码的字符集是ISO-8859-1（因为很多系统默认使用单字节编码），所以我们可以使用简化版本。 注册UDF： 在Flink Table环境中注册这个UDF。 ```java StreamTableEnvironment tableEnv = ...; // 获取TableEnvironment tableEnv.createTemporarySystemFunction("ConvertCharset", new ConvertCharset()); ``` 在Flink SQL中使用： ```sql SELECT ConvertCharset(myField) AS correctedField FROM MyTable; -- 或者指定源字符集 SELECT ConvertCharset(myField, 'GBK') AS correctedField FROM MyTable; -- 或者指定错误解码的字符集和源字符集 SELECT ConvertCharset(myField, 'ISO-8859-1', 'GBK') AS correctedField FROM MyTable; ``` 注意：如果我们的数据源（如Kafka）在读取时已经正确解码，那么我们就不需要这个UDF。如果数据源读取的是字节数组，我们可以直接使用正确的字符集解码。因此，建议在源端就处理好字符集问题。 另外，如果数据源是字节数组，我们可以使用Flink SQL的`TO_STRING`函数，并指定字符集。例如： ```sql SELECT TO_STRING(myBytesField, 'GBK') FROM MyTable; ``` 但是，如果我们的数据源已经将字节数组错误解码为字符串，那么我们就需要使用上述UDF来纠正。 总结：根据实际情况选择合适的方法。如果数据源是字节数组，优先在源端转换；如果已经错误解码为字符串，则使用上述UDF。 以上是Java实现，如果使用Scala，逻辑类似。 另外，我们也可以实现一个UDF，直接接收字节数组和源字符集，然后转换为字符串。这样更直接，避免错误解码的问题。所以，如果可能，建议在数据源中保留字节数组，然后通过UDF转换。 下面是一个接收字节数组的UDF： ```java public class BytesToString extends ScalarFunction { public String eval(byte[] bytes, String charset) throws Exception { if (bytes == null) { return null; } return new String(bytes, Charset.forName(charset)); } } ``` 注册为`BytesToString`，然后在SQL中： ```sql SELECT BytesToString(myBytesField, 'GBK') FROM MyTable; ``` 这样更简单，且避免了错误解码的问题。因此，如果数据源是字节数组，推荐使用这种方式。 根据用户的问题，用户希望实现字符集转换的UDF，但没有说明输入是字符串还是字节数组。我们提供了两种方案：一种是处理错误解码的字符串（还原字节数组再重新解码），另一种是直接处理字节数组。用户可以根据实际情况选择。 注意：在Flink SQL中，如果字段类型是`BYTES`（即`byte[]`），那么我们可以直接使用上面的`BytesToString`。如果字段类型是`STRING`，那么我们需要使用第一个UDF（`ConvertCharset`）来纠正。 因此，请根据数据源的实际类型选择合适的UDF实现。 最后，我们还需要考虑UDF的鲁棒性，比如字符集不存在的情况，我们可以抛出异常，Flink会捕获并导致作业失败，或者我们可以返回null（需要捕获异常）。这里我们选择抛出异常，因为字符集名称错误是配置问题，需要及时修复。 我们也可以返回null，但这样可能会掩盖问题。修改如下： ```java public class ConvertCharset extends ScalarFunction { public String eval(String str, String wrongCharset, String srcCharset) { if (str == null) { return null; } try { byte[] bytes = str.getBytes(Charset.forName(wrongCharset)); return new String(bytes, Charset.forName(srcCharset)); } catch (Exception e) { // 记录日志，然后返回null // 或者抛出异常，让作业失败 // 这里我们选择返回null，并打印错误信息（在生产环境中应该使用日志） e.printStackTrace(); return null; } } // ... 其他eval方法 } ``` 根据需求选择错误处理方式。 以上就是在Flink SQL中创建自定义UDF实现字符集转换的方法。</think>### 在 Flink SQL 中创建字符集转换 UDF 函数 在 Flink SQL 中创建自定义 UDF 实现字符集转换（如 GBK 转 UTF-8）需要以下步骤： #### 1. **实现 ScalarFunction 接口** 创建 Java 类实现 `org.apache.flink.table.functions.ScalarFunction`： ```java import org.apache.flink.table.functions.ScalarFunction; import java.nio.charset.Charset; public class CharsetConverter extends ScalarFunction { // 转换方法：sourceCharset → targetCharset public String eval(String input, String sourceCharset, String targetCharset) { if (input == null) return null; byte[] bytes = input.getBytes(Charset.forName(sourceCharset)); return new String(bytes, Charset.forName(targetCharset)); } // 重载：默认 GBK → UTF-8 public String eval(String input) { return eval(input, "GBK", "UTF-8"); } } ``` #### 2. **注册 UDF 到 Flink 环境** 在 TableEnvironment 中注册函数： ```java StreamTableEnvironment tableEnv = ...; tableEnv.createTemporarySystemFunction("ConvertCharset", new CharsetConverter()); ``` #### 3. **在 Flink SQL 中使用** ```sql SELECT ConvertCharset(gbk_column) AS utf8_column, -- 默认 GBK→UTF-8 ConvertCharset(column1, 'ISO-8859-1', 'UTF-8') AS converted FROM source_table ``` #### 4. **关键注意事项** - **字符集支持**：确保 JVM 支持指定的字符集（通过 `Charset.availableCharsets()` 验证） - **空值处理**：在 `eval()` 中显式处理 `null` 输入 - **性能优化**： - 缓存 `Charset` 实例避免重复查找 - 对单字符集转换可创建专用子类 - **错误处理**：添加异常捕获逻辑： ```java try { return new String(bytes, targetCharset); } catch (UnsupportedCharsetException e) { throw new RuntimeException("不支持的字符集: " + targetCharset); } ``` #### 5. **部署与打包** - 将 UDF 类打包进 JAR 文件 - 通过 `ADD JAR` 命令加载到 Flink 集群： ```sql ADD JAR '/path/to/udf.jar'; CREATE FUNCTION ConvertCharset AS 'com.example.CharsetConverter'; ``` ### 字符集转换原理 $$ \text{转换过程} = \text{源字符集解码} \rightarrow \text{目标字符集编码} $$ 1. 将字符串按源字符集编码为字节数组 2. 将字节数组按目标字符集解码为新字符串 3. 使用 Java 内置的 `Charset` 处理器确保跨平台一致性 ### 应用场景 1. 处理来自遗留系统的 GBK/GB2312 数据源 2. 对接不同地域的系统（如简体中文/日文字符集转换） 3. 修复因字符集错配导致的乱码问题 4. 标准化数据管道中的文本编码格式[^1] --- ### 相关问题 1. **如何处理 Flink UDF 中的字符集不支持异常？** > 建议在 `eval()` 方法中捕获 `UnsupportedCharsetException`，并通过 `getAvailableCharsets()` 返回有效字符集列表提示用户。 2. **能否在 UDF 中实现自动字符集检测？** > 可集成第三方库如 `juniversalchardet`，但需注意性能开销。建议在生产环境中显式指定字符集。 3. **如何优化大批量数据的字符集转换性能？** > ① 使用 `ByteBuffer` 替代临时字节数组 > ② 预初始化 `CharsetDecoder/CharsetEncoder` > ③ 避免在循环中创建 `Charset` 实例 4. **Flink UDF 是否支持复杂类型（如 ARRAY/MAP）的字符集转换？** > 可通过实现 `TableFunction` 处理嵌套结构，或使用 `DataTypeHint` 注解定义返回类型。 5. **在 Kerberized 集群中部署 UDF 需要注意什么？** > 需确保 JAR 文件包含在 `yarn.application.classpath` 中，并为 UDF 配置正确的 JAAS 文件[^1]。 [^1]: 参考 Flink 官方文档：用户自定义函数实现规范及安全部署指南。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值