Mongo-Connector的使用

工具介绍

mongo-connector工具创建一个从MongoDB簇到一个或多个目标系统的管道，目标系统包括：Solr，Elasticsearch，或MongoDB集群。 该工具在MongoDB与目标系统间同步数据，并跟踪MongoDB的oplog，保持操作与MongoDB的实时同步。

环境

mongo-connector支持Python 3.4+和MongoDB版本3.4和3.6。

原理

oplog日志

1.简介
oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。
2.oplog日志结构

• ts: 8字节的时间戳，由4字节unix timestamp + 4字节自增计数表示。这个值很重要，在选举(如master宕机时)新primary时，会选择ts最大的那个secondary作为新primary
• op：1字节的操作类型
  "i"： insert
  "u"： update
  "d"： delete
  "c"： db cmd
  "db"：声明当前数据库 (其中ns 被设置成为=>数据库名称+ '.')
  "n": no op,即空操作，其会定期执行以确保时效性
• ns：操作所在的namespace
• o：操作所对应的document，即当前操作的内容（比如更新操作时要更新的的字段和值）
• o2: 在执行更新操作时的where条件，仅限于update时才有该属性

mongo-connector的核心目录结构是：

├── mongo_connector
│   ├── __init__.py
│   ├── compat.py
│   ├── con