超级会员免费看
本文档详细记录了在使用Flink 1.14.5和Hudi 0.11.1时遇到的一个问题，即Flink通过CDC同步MySQL表到Hudi后，查询Hudi表时由于smallint类型导致的异常。通过问题重现和分析，发现Flink在读取Hudi表时尝试将HeapIntVector转换为HeapShortVector，但源数据在Parquet文件中已经是HeapIntVector。解决方案是将Flink SQL中的smallint更改为int类型。此问题同样可能影响tinyint类型。
1. 问题现象
- flink 1.14.5
- hudi 0.11.1
通过flink cdc同步了一个mysql表到hudi，并且数据compact到了parquet文件，此时通过flink sql去查询该hudi表时报以下异常
10:27:24 WARN split_reader -> NotNullEnforcer(fields=[id]) (1/4)#0 org.apache.flink.runtime.taskmanager.Task - split_reader -> NotNullEnforcer(fields=[id]) (1/4)#0 (e382ae300d3d2034085bc7aba45948e4) switched from RUNNING to FAILED with failure cause: java.lang.ClassCastException: org.apache.flink.table.data.vector.heap.HeapIntVector cannot be cast to org.apache.flink.table.data.vector.ShortColumnVector
at org.apache.flink.table.data.vector.VectorizedColumnBatch.getShort(VectorizedColumnBatch.java:78)
at org.apache.flink.table.data.ColumnarRowData.getShort(ColumnarRowData.ja
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
