项目场景:
项目为数据同步工具FlinkCDC性能压测,压测过程中发现无论是使用MySQLCDC Connector还是MongoDBCDC Connector,或者使用Flink1.13或者flink1.16版本,均会出现“增量同步阶段写入并行度强制为1”的问题,导致虽然默认并行度给到很高,但是由于只有一个subtask在写入,因此性能无法继续提升的问题。
问题描述
增量同步阶段写入并行度强制为1,全量同步阶段并行度无影响。
CDC测试代码如下:
#创建flink yarn-seesion集群
/opt/module/flink-1.13.6/bin/yarn-session.sh -nm flinkcdc_poc -d -s 8 -jm 2g -tm 2g
#启动sql-client
#引入各种CDC Connector和Sink Connector的jar
/opt/module/flink-1.13.6/bin/sql-client.sh embedded -s yarn-session -yid application_1682239076448_0001 -j /opt/module/flink-1.13.6/lib/flink-sql-connector-mysql-cdc-2.2.1.jar -j /opt/module/flink-1.13.6/lib/mysql-connector-java-5.1.47.jar -j /opt/module/flink-1.13.6/lib/flink-connector-jdbc_2.11-1.13.0.jar -j /opt/module/flink-1.13.6/lib/flink-sql-connector-mongodb-cdc-2.2.1.jar -j /opt/module/flink-1.13.6/lib/flink-sql-connector-sqlserver-cdc-2.2.1.jar -j /opt/module

最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



