FlinkCDC数据同步Bug——同步性能由于写入并行度限制无法提升问题的解决

最新推荐文章于 2026-02-28 00:07:18 发布

原创

最新推荐文章于 2026-02-28 00:07:18 发布 · 2k 阅读

在FlinkCDC的性能测试中，发现无论使用哪种数据库连接器或Flink版本，增量同步阶段的写入并行度都会被强制设为1，导致性能瓶颈。问题源于binlog读取的顺序要求和源与接收端的并行度匹配。解决方案包括调整source和sink的并行度设置，尤其是在全量数据量不同的场景下。

项目场景：

项目为数据同步工具FlinkCDC性能压测，压测过程中发现无论是使用MySQLCDC Connector还是MongoDBCDC Connector，或者使用Flink1.13或者flink1.16版本，均会出现“增量同步阶段写入并行度强制为1”的问题，导致虽然默认并行度给到很高，但是由于只有一个subtask在写入，因此性能无法继续提升的问题。

问题描述

增量同步阶段写入并行度强制为1，全量同步阶段并行度无影响。

CDC测试代码如下：

#创建flink yarn-seesion集群
/opt/module/flink-1.13.6/bin/yarn-session.sh -nm flinkcdc_poc -d -s 8 -jm 2g -tm 2g

#启动sql-client
#引入各种CDC Connector和Sink Connector的jar
/opt/module/flink-1.13.6/bin/sql-client.sh embedded -s yarn-session -yid application_1682239076448_0001 -j /opt/module/flink-1.13.6/lib/flink-sql-connector-mysql-cdc-2.2.1.jar -j /opt/module/flink-1.13.6/lib/mysql-connector-java-5.1.47.jar -j /opt/module/flink-1.13.6/lib/flink-connector-jdbc_2.11-1.13.0.jar -j /opt/module/flink-1.13.6/lib/flink-sql-connector-mongodb-cdc-2.2.1.jar -j /opt/module/flink-1.13.6/lib/flink-sql-connector-sqlserver-cdc-2.2.1.jar -j /opt/module

标签