MySQL到Kafka数据同步：Canal详解与实战-优快云博客

1. Canal简介

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

2. Mysql的主备复制原理

在这里插入图片描述

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

3. Canal的工作原理

在这里插入图片描述

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

4. Canal的架构

在这里插入图片描述

server 代表一个 canal 运行实例，对应于一个 jvm
instance 对应于一个数据队列（1个 canal server 对应 1…n 个 instance )
instance 下的子模块
- eventParser: 数据源接入，模拟 slave 协议和 master 进行交互，协议解析
- eventSink: Parser 和 Store 链接器，进行数据过滤，加工，分发的工作
- eventStore: 数据存储
- metaManager: 增量订阅 & 消费信息管理器

EventParser在向mysql发送dump命令之前会先从Log Position中获取上次解析成功的位置(如果是第一次启动，则获取初始指定位置或者当前数据段binlog位点)。mysql接受到dump命令后，由EventParser从mysql上pull binlog数据进行解析并传递给EventSink(传递给EventSink模块进行数据存储，是一个阻塞操作，直到存储成功 )，传送成功之后更新Log Position。流程图如下：
在这里插入图片描述

EventSink起到一个类似channel的功能，可以对数据进行过滤、分发/路由(1:n)、归并(n:1)和加工。EventSink是连接EventParser和EventStore的桥梁。
EventStore实现模式是内存模式，内存结构为环形队列，由三个指针(Put、Get和Ack)标识数据存储和读取的位置。
MetaManager是增量订阅&消费信息管理器，增量订阅和消费之间的协议包括get/ack/rollback，分别为：
- Message getWithoutAck(int batchSize)，允许指定batchSize，一次可以获取多条，每次返回的对象为Message，包含的内容为：batch id[唯一标识]和entries[具体的数据对象]
- void rollback(long batchId)，顾名思义，回滚上次的get请求，重新获取数据。基于get获取的batchId进行提交，避免误操作
- void ack(long batchId)，顾名思议，确认已经消费成功，通知server删除数据。基于get获取的batchId进行提交，避免误操作

5. Canal安装部署

主机名	IP	Canal
node1	192.168.88.10	源端
node2	192.168.88.20	目标端

5.1 Canal部署

docker 上部署

#安装canalserver镜像
docker pull canal/canal-server:v1.1.2

在这里插入图片描述

#通过镜像生成canal-server容器
docker run -d --name canal-server \
-e canal.instance.master.address=192.168.88.10:3306 \
-e canal.instance.dbUsername=root \
-e canal.instance.dbPassword=123456 \
-p 11111:11111 \
-d canal/canal-server:v1.1.2

在这里插入图片描述

#进入canal-server容器
docker exec -it canal-server bash

在这里插入图片描述

#执行/export/servers/canal/bin目录中的 startup.sh 启动canal
cd /home/admin/canal-server/bin
[root@a9ec635e5c35 bin]# ./startup.sh

在这里插入图片描述
控制台如果输出如上，表示canal已经启动成功

#进入example日志文件查看是否有报错
cd canal-server/logs/example/
cat example.log

在这里插入图片描述

5.2 Canal测试

需求：
将mysql的数据写入到kafka集群

5.2.1 创建测试数据库

#进入sql命令行
docker exec -it mysql bash
mysql -uroot -p123456
#创建mysql数据库
create database if not EXISTS test DEFAULT charset utf8 COLLATE utf8_general_ci;
#切换到test数据库
use test;
#在test数据库创建表
DROP  TABLE  IF  EXISTS  `userinfo`;
CREATE  TABLE  `userinfo` (
  `id`  int(11)  NOT  NULL  AUTO_INCREMENT,
  `name`  varchar(255)  DEFAULT