使用 Docker 部署 canal 服务，实现 MySQL 数据库 binlog 日志解析

canal 是阿里巴巴开源的一个项目，主要用途是基于 MySQL 数据库 binlog 日志解析，提供增量数据订阅和消费。

基于日志增量订阅和消费的业务包括：

• 数据库镜像
• 数据库实时备份
• 索引构建和实时维护（拆分异构索引、倒排索引等）
• 业务 cache 刷新
• 带业务逻辑的增量数据处理

我这边主要在两个场景下使用：

一个是将变更数据实时同步到 Elasticsearch 和 Redis。

这里先说一下我目前的做法，一方面是全量数据定时同步，由于数据量比较大，同步时间比较长，所以数据也就不够实时。第二个方面是针对单条数据的变更，部分更新 Elasticsearch 和 Redis 的逻辑都是直接写在了业务代码中，耦合比较严重。

拆出来之后就可以实现实时增量更新，而且还可以解耦，收益还是很大的。

第二个是保存重点关注数据的历史变更。

这个目前用在了「资产管理」模块，通过记录 IP 资产的创建，变更以及删除，实现 IP 生命周期管理，方便历史信息回溯。

MySQL 配置

修改 MySQL 配置文件 my.cnf，开启 binlog 写入功能，并配置模式为 ROW。

log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

重启数据库，查看配置是否生效。

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.19 sec)
mysql>
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.00 sec)
mysql>
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |     4230 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

然后创建用户，并授权。

mysql> CREATE USER canal IDENTIFIED BY 'canal';
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%%';
mysql> FLUSH PRIVILEGES;
mysql> show grants for 'canal'@'%%';
+----------------------------------------------------------------------------+
| Grants for canal@%%                                                        |
+----------------------------------------------------------------------------+
| GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `canal`@`%%` |
+----------------------------------------------------------------------------+
1 row in set (0.00 sec)

canal 服务端

拉取镜像：

# docker pull canal/canal-server:v1.1.4

然后用官方提供的 shell 脚本直接启动：

# sh run.sh -e canal.auto.scan=false -e canal.destinations=test -e canal.instance.master.address=127.0.0.1:3306 -e canal.instance.dbUsername=canal -e canal.instance.dbPassword=canal -e canal.instance.connectionCharset=UTF-8 -e canal.instance.tsdb.enable=true -e canal.instance.gtidon=false

但每次都这样启动还是有点麻烦，可以写一个 docker-compose 文件，如下：

version: '3'

services: