【canal问题总结】线上canal问题排查：CanalParseException: column size is not match，parse row data failed

原创已于 2022-05-31 15:47:54 修改 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#canal #doris #kafka #数据仓库

于 2022-05-22 21:54:43 首次发布

大数据架构学习专栏收录该内容

8 篇文章

订阅专栏

在尝试通过修改canal.properties文件过滤DDL和DCL语句以防止同步错误时，遇到了Canal无法读取DDL语句的问题，导致字段不匹配错误。解决方案包括禁用TSDB和调整过滤参数。关闭TSDB可以解决表结构变化导致的同步问题，而错误地过滤DDL可能导致数据不完整。

原因：修改了canal.properties

想过滤出ddl dcl语句，防止doris实时同步读到ddl、dcl语句导致报错

想要过滤ddl dcl语句
canal.instance.filter.query.dcl = true
canal.instance.filter.query.ddl = true

错误：canal读取不到ddl语句，导致字段个数对不上


2022-05-22 13:46:19.857 [destination = test , address = pay-partition-yc-sg-cluster.cluster-cctfla751ard.ap-southeast-1.rds.amazonaws.com/172.20.45.5:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:test[com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data failed.
Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data failed.
Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: column size is not match for table:tmp.look_up,11 vs 10

解决办法：

1、canal.instance.tsdb.enable 改成了false（这几项canal.instance.tsdb.enable的配置表示是否打开tsdb开关，tsdb是为预防表结构发生变化从而在canal订阅binlog时产生问题。
canal使用数据库存储上一次的表结构信息，然后对比两次的表结构，可解决此错误。）
2、将ddl 、dcl参数改成false，重启canal