前言
在上一篇,mongoshake实现mongodb数据同步中,我们详细探讨了如何使用mongoshake实现数据从mongodb同步到mongodb的完整流程,本篇基于mongoshake,继续探讨在数据同步中的另一个场景,即从mogodb同步数据到kafka
业务场景举例
有这样一个需求场景,mongo的某个数据集中,存储了海量的操作行为日志数据,比如定义了一个数据对象的模型集合,有100多个字段,在这个对象模型中,不同的操作行为有一个tag标签作为区分
在下游的应用中,需要接收行为日志数据进行计算分析,得出操作行为轨迹,由于日志数据写到mongodb和下游的分析应用是独立的微服务,两者之间并没有直接的关系,同时又要求系统的性能具备较高的性能,于是想到使用mongoshake作为中介,将mongodb的数据同步到kafka的topic,下游的各个应用只需要监听相关的topic数据即可
这种需求可以衍生出很多其他的场景来,有兴趣的同学可以深入思考,下面来演示下具体的操作步骤
前置准备
1、提前搭建好mongodb集群(复制集群或分片集群)