Canal是一个基于MySQL数据库增量日志解析的工具，用于提供增量数据订阅和消费，常用于数据库实时备份、业务cache刷新和数据增量处理。其工作原理类似于MySQL主备复制，通过模拟MySQL slave与master交互，捕获并解析binlog事件。Canal支持多种数据存储和消费方式，包括内嵌的内存模式和对接MQ。相比Maxwell，Canal需要自定义客户端消费数据，但功能更强大且可扩展性好。
背景
阿里巴巴 B2B 公司为解决杭州和美国双机房部署，存在跨机房同步的业务需求 ，从 2010 年开始，开始尝试数据库日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启一段新纪元。
是什么
canal [kə’næl]，译意为水道/管道/沟渠
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
官方Wiki
https://github.com/alibaba/canal/wiki
原理
mysql主备复制
canal的原理和mysql的主备复制原理相似，先提下mysql主备复制实现原理
从上图来看，mysql主备复制分成三步：
1.master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
2.slave将master的binary log events拷贝到它的中继日志(relay log)；
3.slave重做中继日志中的事件，将改变反映它自己的数据。
mysql的binlog介绍
在MySql中常用的数据库表结构变更DDL和DML都会产生对应的操作日志，通过这个操作日志一般可以用来进行MySql故障后的数据恢复，以及MySql的主从同步使用；那么这个日志就是我们常说的MySql的binlog日志，binlog日志是一个二进制日志文件，并非是纯粹的文本文件。
最低0.47元/天 解锁文章
扫一扫
1776
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
