canal小试牛刀第一篇：canal-server+kafka根据mysql binlog同步数据

github项目直达

更新

• 新增eagle for kafka， kafka监控

如果是oracle数据库，可以考虑databus。

1. 前情提要

直接监听mysql的binlog同步数据可以对业务无侵入。数仓搭建必备利器。

2. 准备工作

1. 了解canal-server
2. 了解kafka
3. 了解Canal Kafka
4. 了解mysql主从
5. 了解docker、docker-compose
6. canal配置详解

3. 配置相关

mysql

保存以下配置至./mysql/conf.d/slave.cnf

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1

instance

在容器中复制/home/admin/canal-server/conf/example/instance.properties 并 保存至./canal-server/conf/example/instance.properties 然后对应如下配置对文件内容进行修改

#  按需修改成自己的数据库信息