Flink侧输出流执行报错,org.apache.flink.api.common.functions.InvalidTypesException

本文介绍了在使用Flink进行实时数据处理时遇到的延迟数据问题,以及如何通过配置乱序时间和允许迟到数据来解决。然而,即便如此,仍有迟到数据存在。为确保数据不丢失,作者尝试利用侧输出流将这些数据存储到MySQL数据库。在实现过程中,由于错误地将对象传递给侧输出流,导致报错。经过源码分析,发现问题在于侧输出流需要接收匿名实现类而非普通对象。修正方法是在创建OutputTag时使用大括号创建匿名实现类。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在写flink代码做实时处理的时候,对于延迟的数据,我们添加了乱序时间处理以及允许迟到数据之后,依旧有迟到的数据,可以采用侧输出流进行收集依旧迟到的数据。都写进关系型数据库(如MySQL可以处理,以此来保证数据的不丢)。

但是笔者在写侧输出流的时候,发现执行报错。Caused by: org.apache.flink.api.common.functions.InvalidTypesException: The types of the interface org.apache.flink.util.OutputTag could not be inferred. Support for synthetic interfaces, lambdas, and generic or raw types is limited at this point

定位到是因为侧输出流的问题,就点开源码进行查看。发现侧输出流需要传递的总是一个匿名实现类,笔者的代码里面传递的是一个对象,所以导致报错。源码如下:

 

所以:

OutputTag<Tuple2<String, Long>> info = new OutputTag<Tuple2<String, Long>>("late-data"){};

在new的时候需要加上大括号,作为匿名实现类进行传递。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值