近日,在社区开发者们共同努力下,Flink CDC 社区宣布 Flink CDC 2.1 正式发布。据悉,2.1 版本包含 23 位贡献者贡献的 100+ PR,重点提升了 MySQL CDC 连接器的性能和生产稳定性,重磅推出 Oracle CDC 连接器和 MongoDB CDC 连接器。其中,XTransfer 的技术专家Jiabao Sun贡献了MongoDB CDC 连接器,支持从 MongoDB 数据库获取全量历史数据和增量变更数据。
详解推出的MongoDB CDC 连接器
MongoDB CDC 连接器并不依赖 Debezium,是在 Flink CDC 项目里独立开发。MongoDB CDC 连接器支持捕获并记录 MongoDB 数据库中实时变更数据,其原理是伪装一个 MongoDB 集群里副本 [4],利用 MongoDB 集群的高可用机制,该副本可以从 master 节点获取完整 oplog(operation log) 事件流。Change Streams API 则提供实时订阅这些 oplog 事件流的能力,可以将这些实时的 oplog 事件流推送给订阅的应用程序。