Flink Sql使用mysql-cdc捕获多个表失败的问题

最新推荐文章于 2024-12-04 23:33:05 发布

原创最新推荐文章于 2024-12-04 23:33:05 发布 · 4.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

夭寿报错啦专栏收录该内容

7 篇文章

订阅专栏

本文介绍使用Flink SQL捕获MySQL数据库中多个表的Binlog时遇到的问题及解决办法。当配置WITH语句指定多个表名但未加上数据库前缀时，程序虽然不报错，但无法正确捕获所有表的数据变更。文章详细解释了解决这一问题的具体步骤。

问题描述：

要捕获同一个库里的多个表的binlog，程序不报错，但是修改某个表后没有结果没有任何改变。

fllinkSql的with语句

WITH ( 'connector' = 'mysql-cdc',
 'hostname' = '%s',
 'port' = '%s',
 'username' = '%s',
 'password' = '%s',
 'database-name' = 'student',
 'debezium.skipped.operations'='d',
 'debezium.min.row.count.to.stream.results'='1000',
 'table-name' = 'tb1,tb2,tb3')

原因：

编译成debezium的配置后只在第一个表的前面加了数据库前缀。

解决方法：

WITH ( 'connector' = 'mysql-cdc',
 'hostname' = '%s',
 'port' = '%s',
 'username' = '%s',
 'password' = '%s',
 'database-name' = 'student',
 'debezium.skipped.operations'='d',
 'debezium.min.row.count.to.stream.results'='1000',
 'table-name' = 'student.tb1,student.tb2,student.tb3')//就是这个要全部加数据库前缀