flinkcdc同步oracle数据，跑任务数小时后不同步数据

ask_baidu

已于 2023-12-15 15:41:08 修改

阅读量2.6k

点赞数 2

文章标签： oracle 数据库 flink

于 2022-12-29 17:37:32 首次发布

本文链接：https://blog.youkuaiyun.com/ask_baidu/article/details/128484859

版权

本文介绍了如何通过调整Debezium连接器的配置参数解决Oracle日志批次大小超过最大值的问题，并提供了一组个人配置示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.访问debezium官网
https://debezium.io/documentation/reference/1.6/connectors/oracle.html
我们发现默认配置参数的值为下图
在这里插入图片描述

2.把flink/conf/log4j.properties的日志级别改为DEBUG级别，重启flink集群
如果flinkcdc任务日志有如下DEBUG级别的日志且batchsize>=maxbatchsize.说明log.ming.batch.size.max设置太小了需要加大，默认是10万（100000）。
从下面日志看的出Batch size 500000，Max batch size 500000，batchsize已经超过maxbatchsize，所以50万还比较小还需要加大，只有bachsize小于maxbachsize才正常，具体可以根据自己的数据库来查询scn的变化，select current_scn from v$database;
建议把maxbatchsize以10倍（100万、1000万）的值依次往上加
proper.setProperty(“log.mining.batch.size.max”, “1000000”);

DEBUG io.debezium.connector.oracle.OracleStreamingChangeEventSourceMetrics [] - Updating batch size window. Batch size 502000. Min batch size 20000. Max batch size 500000.

个人配置：
proper.setProperty(“decimal.handling.mode”, “STRING”);
proper.setProperty(“log.mining.strategy”, “online_catalog”);
proper.setProperty(“log.mining.continuous.mine”, “true”);
proper.setProperty(“log.mining.batch.size.default”, “300000”);
proper.setProperty(“log.mining.batch.size.min”, “150000”);
proper.setProperty(“log.mining.batch.size.max”, “15000000”);
proper.setProperty(“log.mining.sleep.time.increment.ms”, “0”);
proper.setProperty(“log.mining.sleep.time.default.ms”, “0”);
proper.setProperty(“log.mining.sleep.time.max.ms”, “0”);
proper.setProperty(“log.mining.dml.parser”, “legacy”);
proper.setProperty(“table.include.list”, tableList);//tableList=“命名空间.表1，命名空间.表2”;
proper.setProperty(“database.serverTimezone”, “Asia/Shanghai”);
proper.setProperty(“database.tablename.case.insensitive”, “false”);
proper.setProperty(“scan.startup.mode”, “initial”);
有问题可以留言