Flink CDC 连接 postgresql 遇到的问题

H_X_P

已于 2022-04-08 13:56:13 修改

阅读量6.6k

点赞数 1

文章标签： postgresql

于 2022-04-08 11:15:06 首次发布

本文链接：https://blog.youkuaiyun.com/H_X_P_/article/details/124036783

版权

在尝试使用Flink CDC连接postgresql时遇到了一系列问题，包括decoderbufs插件缺失、protobuf相关依赖问题、replica identity设置不正确、replication slot冲突及数量不足等。解决方案包括手动编译decoderbufs插件、添加protobuf依赖、调整postgresql配置以增加max_wal_senders和max_replication_slots的值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考

Postgres CDC Connector

Flink-cdc实时读postgresql

flink cdc捕获postgresql数据

版本：Flink 1.13.6、Flink CDC 2.1.0、Postgresql 10

需要更改 postgresql.conf

# 更改wal日志方式为logical
wal_level = logical            # minimal, replica, or logical
# 更改solts最大数量（默认值为10），flink-cdc默认一张表占用一个
slotsmax_replication_slots = 20           # max number of replication slots
# 更改wal发送最大进程数（默认值为10），这个值和上面的solts设置一样
max_wal_senders = 20    # max number of walsender processes
# 中断那些停止活动超过指定毫秒数的复制连接，可以适当设置大一点（默认60s）
wal_sender_timeout = 180s	# in mil

最低0.47元/天解锁文章