Canal是一款由阿里巴巴开发的开源软件，主要用于从MySQL数据库中实时捕获数据变更并同步到其他数据中间件，如HBase、Elasticsearch等。通过伪装成MySQL的从库，Canal利用MySQL的主从复制机制，实现对数据库增删改操作的实时监控与数据同步。此过程涉及binlog解析、消息生成与分发，通常借助消息队列如Kafka进行。适用于数据实时同步、ETL、实时数据分析等场景。
安装
https://github.com/alibaba/canal/wiki/QuickStart
Demo
Tips
- 目前（截止2019-7-26），canal只支持数据源为MySQL；
功能及使用场景
基于MySQL数据源的增量实时同步。canal常用于线上库（MySQL）到不同数据中间件（eg：HBase、elasticsearch等）的实时分发。
原理
- Step1. 将canal伪装为MySQL的从库，利用MySQL的主从同步机制，每当主库发生增删改时，将对应的binlog日志同步到canal（从库）；
- Step2. canal解析binlog，还原DDL语句，并作用于canal，已形成一条条消息；
- Step3. 将消息分发到各个消费者。此过程一般会用到消息中间件，如Kafka；
Tips：一些概念
- MySQL主从： A/B两台MySQL实时同步，用于读写分离、临时灾备、备份；
- binlog：MySQL的增删改操作都会以二进制形式保存到本地log中；
- Docker：一种比虚拟机更优越的容器工具；
- canal-server：canal中与数据源MySQL连接的部分，用于获取binlog并解析；
- canal-client：
扫一扫
653
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
