java整合Canal实现数据库监听(附完整的踩坑总结)

1. 准备工作

1.1. MySQL开启binlog日志

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

修改完成后输入: show variables like 'log_bin';查看binlog是否生效

show variables like 'log_bin';

1.2. 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限

-- 创建一个用户名密码均为canal的账户
CREATE USER canal IDENTIFIED BY 'canal';  
-- 授予用户'canal'在所有数据库和表上进行SELECT查询以及复制从库和复制客户端的权限，并且允许该用户从任何主机连接到数据库服务器。
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- 刷新权限
FLUSH PRIVILEGES; 

2. 正式开始

2.1. 采用doker部署canal-server

2.1.1. 使用docker拉取最新版canal服务端

docker pull canal/canal-server:latest

2.1.2. 使用docker run命令创建容器并挂载配置文件所在的数据卷

# -v 本地的instance.properties:容器的instance.properties将容器的instance.properties配置文件挂载到宿主机，方便后续变更
docker run \
--name mycanal \
-p 11111:11111 \
-v /tmp/canal/conf2/instance.properties:/home/admin/canal-server/conf/example/instance.properties \
 -d \
 canal/canal-server

2.2. 修改配置文件

进入数据卷挂载的目录新建一个instance.properties文件 修改配置如下

## mysql serverId 不能和mysql相同
canal.instance.mysql.slaveId = 1234  
#position info，需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306 
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password，需要改成自己的数据库信息 此处采用刚刚创建的用户
canal.instance.dbUsername = canal   
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionChars