flink smallint类型不兼容hudi

最新推荐文章于 2024-11-18 14:14:54 发布
最新推荐文章于 2024-11-18 14:14:54 发布
阅读量3.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： flink hudi系列 文章标签： flink hudi
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/127364866
本文档详细记录了在使用Flink 1.14.5和Hudi 0.11.1时遇到的一个问题，即Flink通过CDC同步MySQL表到Hudi后，查询Hudi表时由于smallint类型导致的异常。通过问题重现和分析，发现Flink在读取Hudi表时尝试将HeapIntVector转换为HeapShortVector，但源数据在Parquet文件中已经是HeapIntVector。解决方案是将Flink SQL中的smallint更改为int类型。此问题同样可能影响tinyint类型。

1. 问题现象

  • flink 1.14.5
  • hudi 0.11.1

通过flink cdc同步了一个mysql表到hudi，并且数据compact到了parquet文件，此时通过flink sql去查询该hudi表时报以下异常

10:27:24 WARN  split_reader -> NotNullEnforcer(fields=[id]) (1/4)#0 org.apache.flink.runtime.taskmanager.Task                     - split_reader -> NotNullEnforcer(fields=[id]) (1/4)#0 (e382ae300d3d2034085bc7aba45948e4) switched from RUNNING to FAILED with failure cause: java.lang.ClassCastException: org.apache.flink.table.data.vector.heap.HeapIntVector cannot be cast to org.apache.flink.table.data.vector.ShortColumnVector
	at org.apache.flink.table.data.vector.VectorizedColumnBatch.getShort(VectorizedColumnBatch.java:78)
	at org.apache.flink.table.data.ColumnarRowData.getShort(ColumnarRowData.ja
了解本专栏 订阅专栏 解锁全文 超级会员免费看
hudi系列-不支持flink计算列
1032851561的博客
02-18 2020
有个hudi mor的事实表，需要与外部的维表进行关联以生成明细宽表，方案是基于flink sql对事实表进行增量查询，同时与外部的维表进行lookup join，除了无需编码之外，通过jdbc的方式连接外部表还能利用flink jdbc-connector的缓存功能。这种join方式要求事实表必须有一个处理时间(process time)属性，所以在定义事实表时增加了一个计算列从flink sql的角度来看，这并没什么毛病，但是直接查这个表的数据时就会报错。
【云原生】docker 部署 Doris 数据库使用详解
热门推荐
congge
09-08 1万+
docker 部署 Doris 数据库使用详解
Flink问题记录
qq_15138049的博客
05-09 1922
Flink问题记录
大数据hudi之集成flink:核心参数设置
weixin_43597208的博客
09-05 526
注意：如果没有按照5.2.1中yarn-session模式解决hadoop依赖冲突问题，那么无法compaction生成parquet文件，报错很隐晦，在Exception中看不到，要搜索TaskManager中关于compaction才能看到报错。在进行insert/upsert操作时，Hudi可以将文件大小维护在一个指定文件大小。可以flink建表时在with中指定，或Hints临时指定参数的方式：在需要调整的表名后面加上 /*+ OPTIONS() */
30.flink table 中的数据类型映射
笔生花的博客
10-02 3353
flinkTable中的所有数据类型都是class封装的，在这之中有一个基类： org.apache.flink.table.types.DataType， 所有的类型都是该类的实现类。除此之外Flink table还提供了一个final类型的类，该类提供了大量的静态方法可以指定访问实现了 org.apache.flink.table.types.DataType接口的真正实现类， 这个final类型的类是： org.apache.flink.table.api.DataTypes。
使用flink通过窗口实现数据源（mq）数据过滤，解决cannot be cast to org.apache.flink.table.dataformat.BinaryGeneric
qq_30752927的博客
05-11 1718
使用flink通过窗口实现数据源（mq）数据过滤。 需求：一个老师有基本属性包括（编号，名字，年龄，学生集合，以及图片信息）需要通过flink窗口实现多字段过滤以及取最大年龄的数据 定义student类 public class Student { private String name; public String getName() { return name; } public void setName(String name) {
flink cdc 报fail to rollback
最新发布
05-16
在查询 Iceberg 表时发现，部分数据类型（如 TINYINT、SMALLINT）不受支持[^3]。这表明可能存在源端与目标端之间的数据类型不匹配问题。这种不一致会干扰事务的正常执行，进而影响回滚操作的成功率。 4. **网络...
【Apache Paimon】-- 2 -- 核心特性 （0.9.0）
欢迎来到我的博客，一起探索代码里的世界！
11-18 1066
用户可以随心所欲地更新记录。复制以保留最后一行，或部分更新，或汇总记录，或第一行，提供了很灵活的处理方式，总之可以用户自己决定。主键表合并机制详情（1）去重（Deduplicate）去重机制（deduplicate）是默认的数据合并机制。对于多条具有相同primary key的数据，Paimon结果表仅会保留最新一条数据，并丢弃其它具有primary key的数据。说明如果最新一条数据是一条delete消息，所有具有该primary key的数据都将被丢弃。
FLINK SQL数据类型
王小工小工历程
10-10 2693
Flink SQL也支持用户自定义数据类型，用户可以根据自己的需求定义复杂的数据结构，并通过实现相应的接口或类来注册这些自定义类型。1、定义与用途用户自定义数据类型通常用于处理那些无法直接通过Flink内置数据类型表示的数据。例如，当需要处理一个包含多个字段的复杂数据结构时，就可以定义一个包含这些字段的用户自定义数据类型。2、实现方式定义数据类型：首先，需要定义一个Java或Scala类来表示用户自定义数据类型。
Flink 1.13 写 HDFS 任务异常分析
jdx2008678的专栏
10-25 1567
任务是基于Flink 1.13 版本java api 实现的，主要功能是将业务数据写到 hdfs 上
SQL SERVER 2012操作数类型冲突：int与date不兼容
weixin_43727933的博客
04-08 4181
SQL SERVER 2012操作数类型冲突：int与date不兼容下面展示一些 `内联代码片`。 下面展示一些 内联代码片。 USE[SecondSubjects] GO --SET IDENTITY_INSERT [dbo].[EXAM_EMPLOYEE] ON INSERT INTO EXAM_EMPLOYEE ( [GAJTGLFZJGSLMC], --所属发证机关 [GLBM_GAJGJGDM], --管理部门 [JTGLYWSXSFZMDM], --身份证明名称 [JT
操作数类型冲突: date 与 int 不兼容
u014622411的专栏
07-06 1万+
Hql +=" AND compAndClientPolicy.executeBegin between "+ kaiShiRiQi+"' and '"+ jieShuRiQi+"' " +                  " OR compAndClientPolicy.executeEnd between '"+kaiShiRiQi2 +"' and '"+ jieShuRiQi2+"'"
Flink SQL 数据sink到mysql时，非空列存在null值问题
雾岛与鲸的博客
09-10 1万+
flink sql 数据sink到mysql时，非空存在null值，插入mysql报错，配置下面的参数进行解决: table.exec.sink.not-null-enforcer 对表的NOT NULL列约束强制执行不能将空值插入到表中。 Flink支持“错误”（默认）和“删除”强制行为 默认情况下，当将空值写入NOT NULL列时，Flink将检查值并引发运行时异常。 用户可以将行为更改为“删除”，以在不引发异常的情况下静默删除此类记录。 ......
java.lang.String cannot be cast to org.apache.flink.table.data.StringData
微电子学与固体电子学-俞驰
04-01 6254
16:54:56,851 INFO org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forwa...
SQL高级教程之约束 (Constraints) NOT NULL/UNIQUE/PRIMARY KEY/FOREIGN KEY/CHECK/DEFAULT
软测小生
04-06 1466
以下全部内容来自W3School SQL教程，我在学习的过程中完全自己照着敲了一遍，加深学习印象。SQL 约束 (Constraints)SQL 约束约束用于限制加入表的数据的类型。可以在创建表时规定约束（通过 CREATE TABLE 语句），或者在表创建之后也可以（通过 ALTER TABLE 语句）。我们将主要探讨以下几种约束：NOT NULLUNIQUEPRIMARY KEYFOREIGN...
flink-sql所有数据类型-1.15
第一片心意的博客
11-05 4675
本文是对 flink 1.15 官网中 flink sql 数据类型部分的翻译整理。
flink 消费Kafka 空指针问题
weixin_40898246的博客
12-14 4331
flink 消费Kafka 空指针问题 error： 2021-12-02 10:51:55,644 WARN org.apache.flink.runtime.taskmanager.Task [] - Source: Custom Source (1/3)#4 (92d97e5b78862c632d32b272b843bf4b) switched from RUNNING to FAILED with failure cause: java.lang.NullPointerException a
记一次 Flink mongoDB CDC 到Kafka遇到的问题
monkeyboy_tech的博客
10-13 1732
是用来Flink用来产生CDC数据的,Flink SQL Planner 会自动为 Upsert 类型的 Source 生成一个 ChangelogNormalize 节点，并按照上述操作将其转换为完整的变更流；所以这里我们选择把 kakfa的数据转换成的正常的 数据流，而不是CDC数据，因为我们最终存储的 Adb 是可以支持upsert操作。这里获取到的数据就是 正常的json数据，而不是 debezium-json数据，具体区别，可以参考下面的说明。，因为我们现在选择 kafka sink的是。
Flink 启动就报错，但exception没提示。其中一个task failure 该怎么办？
T_Antry
07-19 748
最近我在生产又遇到一个问题，就是消费着一段时间之后，忽然就不再消费了，但也不报错。观察了几次，我发现时间基本是停留在上下班高峰期数据量最大的时候。我主观猜测可能是同时间进来的数据过多，处理不来导致的。但这个问题我还没来的及思考怎么处理，因此我选择多加几个并行度先解决一下。故事来了，就是增加并行度之后神奇的故事就来了，Flink 启动就报错，但exception没提示。并且只能看到其中一个task failure
flink cdc 实时同步 oracle hudi
09-15
要实现Flink CDC实时同步Oracle到Hudi，你可以按照以下步骤进行操作： 1. 首先，配置Flink的Savepoints和Checkpoints，这样就可以实现断点续传的功能。这在生产环境中是建议的配置。 2. 使用Flink SQL创建Hudi表并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值