详解 canal 同步 MySQL 增量数据到 ES

canal 是阿里知名的开源项目，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

这篇文章，我们手把手向同学们展示使用 canal 将 MySQL 增量数据同步到 ES 。

1 集群模式

图中 server 对应一个 canal 运行实例 ，对应一个 JVM 。

server 中包含 1..n 个 instance ， 我们可以将 instance 理解为配置任务。

instance 包含如下模块 ：

• eventParser
  数据源接入，模拟 slave 协议和 master 进行交互，协议解析
• eventSink
  Parser 和 Store 链接器，进行数据过滤，加工，分发的工作
• eventStore
  数据存储
• metaManager
  增量订阅 & 消费信息管理器

真实场景中，canal 高可用依赖 zookeeper ，笔者将客户端模式可以简单划分为：TCP 模式 和 MQ 模式 。

实战中我们经常会使用 MQ 模式 。因为 MQ 模式的优势在于解耦 ，canal server 将数据变更信息发送到消息队列 kafka 或者 RocketMQ ，消费者消费消息，顺序执行相关逻辑即可。

顺序消费：

对于指定的一个 Topic ，所有消息根据 Sharding Key 进行区块分区，同一个分区内的消息按照严格的先进先出(FIFO)原则进行发布和消费。同一分区内的消息保证顺序，不同分区之间的消息顺序不做要求。

2 MySQL配置

1、对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf  中配置如下

登录后复制

<