canal-adapter 同步mysql到es [基于tcp模式]

CMLX1218

已于 2022-01-26 15:53:53 修改

阅读量3.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： canal es 文章标签： mysql elasticsearch

于 2022-01-25 16:35:37 首次发布

本文链接：https://blog.youkuaiyun.com/CMLXZL/article/details/122687727

本文介绍了如何搭建canal环境，包括canal-server、canal-admin和canal-adapter的配置与启动。通过canal-adapter，实现了MySQL数据库的变更同步到Elasticsearch，涉及全量和增量同步的步骤。同时，文章中还提及了遇到的druid类型转换错误问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

canal环境搭建

canal官网下载 https://github.com/alibaba/canal/tags
分别将三个tar.gz包解压到指定的包下(adapter|admin|deployer)

canal-server

将自己伪装成mysql的slave节点,来订阅mysql binlog的变更
配置mysql,开启binlog

log-bin=mysql-bin # 开启 
binlog binlog-format=ROW # 选择 ROW 模式 
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

配置canal.properties

canal.id = 101
canal.register.ip = 127.0.0.1 
canal.admin.user = admin 
canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9
# 当前server上部署的instance列表,对应conf目录下创建对应的文件夹,文件copy example中做修改即可
canal.destinations = example,testusers

配置example.properties

canal.instance.mysql.slaveId=103  # 不能和mysql的server_id重复
canal.instance.master.address=mysql地址:3306
canal.instance.dbUsername=root
canal.instance.dbPassword=xxxxxx
canal.instance.connectionCharset = UTF-8
canal.instance.filter.regex=canal_manager\..*  # 配置包含数据库和表
canal.instance.filter.black.regex=mysql\\.slave_.*   # 配置不包含数据库和表
canal.mq.topic=xxx