Canal + MQ 环境配置

最新推荐文章于 2025-04-18 14:36:57 发布
最新推荐文章于 2025-04-18 14:36:57 发布
阅读量919 收藏 30
点赞数 25
分类专栏： 微服务 文章标签： Canal MQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_73656461/article/details/146803189
版权

Canal + MQ 环境配置

1. 配置 Mysql 主从同步

1.1 创建用户

在 MySQL 中需要创建一个用户，并授权

create user 'canal'@'%' identified WITH mysql_native_password by 'canal';

授权 *.* 表示所有库

GRANT SELECT,REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
  • SELECT：允许用户查询（读取）数据库中的数据。
  • REPLICATION SLAVE：允许用户作为 MySQL 复制从库，用于同步主库的数据。
  • REPLICATION CLIENT：允许用户连接到主库并获取关于主库状态的信息。

在 MySQL 配置文件 my.cnf 设置如下信息 vi /usr/mysql/conf/my.cnf（参考自己的虚拟机配置位置）：

[mysqld]
#打开binlog
log-bin=mysql-bin
#选择ROW(行)模式
binlog-format=ROW
#配置MySQL replaction需要定义，不要和canal的slaveId重复
server_id=1

expire_logs_days=3
max_binlog_size = 100m
max_binlog_cache_size = 512m

binlog 日志最大保存 100M，是为了方便测试，根据项目需求进行修改

1.2 重启 MySQL，查看配置信息

使用命令查看是否打开 binlog 模式：SHOW VARIABLES LIKE 'log_bin';

ON 表示开启 binlog 模式

show variables like 'binlog_format';

当 binlog_format 的值为 row 时，表示 MySQL 服务器当前配置为使用行级别的二进制日志记录，这对于数据库复制和数据同步来说更为安全，因为它记录了对数据行的确切更改。

查看当前正在写入的 binlog 文件：SHOW MASTER STATUS;

2. 安装 Canal

获取 canal 镜像：docker pull canal/canal-server:latest

创建 /data/soft/canal 目录：mkdir -p /data/soft/canal

在 /data/soft/canal 下创建 canal.properties，内容如下，注意修改 mq 的配置信息：

#################################################
#########               common argument         #############
#################################################
# tcp bind ip
canal.ip =
# register ip to zookeeper
canal.register.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
# canal instance user/passwd
# canal.user = canal
# canal.passwd = E3619321C1A937C46A0D8BD1DAC39F93B27D4458

# canal admin config
#canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
#canal.admin.register.auto = true
#canal.admin.register.cluster =
#canal.admin.register.name =

canal.zkServers =
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = rabbitMQ
# flush meta cursor/parse position to file
canal.file.data.dir = ${canal.conf.dir}
canal.file.flush.period = 1000
## memory store RingBuffer size, should be Math.pow(2,n)
canal.instance.memory.buffer.size = 16384
## memory store RingBuffer used memory unit size , default 1kb
canal.instance.memory.buffer.memunit = 1024 
## meory store gets mode used MEMSIZE or ITEMSIZE
canal.instance.memory.batch.mode = MEMSIZE
canal.instance.memory.rawEntry = true

## detecing config
canal.instance.detecting.enable = false
#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.sql = select 1
canal.instance.detecting.interval.time = 3
canal.instance.detecting.retry.threshold = 3
canal.instance.detecting.heartbeatHaEnable = false

# support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery
canal.instance.transaction.size =  1024
# mysql fallback connected to new master should fallback times
canal.instance.fallbackIntervalInSeconds = 60

# network config
canal.instance.network.receiveBufferSize = 16384
canal.instance.network.sendBufferSize = 16384
canal.instance.network.soTimeout = 30

# binlog filter config
canal.instance.filter.druid.ddl = true
canal.instance.filter.query.dcl = false
# 这个配置一定要修改
canal.instance.filter.query.dml = true
canal.instance.filter.query.ddl = false
canal.instance.filter.table.error = false
canal.instance.filter.rows = false
canal.instance.filter.transaction.entry = false
canal.instance.filter.dml.insert = false
canal.instance.filter.dml.update = false
canal.instance.filter.dml.delete = false

# binlog format/image check
canal.instance.binlog.format = ROW,STATEMENT,MIXED 
canal.instance.binlog.image = FULL,MINIMAL,NOBLOB

# binlog ddl isolation
canal.instance.get.ddl.isolation = false

# parallel parser config
canal.instance.parser.parallel = true
## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()
#canal.instance.parser.parallelThreadSize = 16
## disruptor ringbuffer size, must be power of 2
canal.instance.parser.parallelBufferSize = 256

# table meta tsdb info
canal.instance.tsdb.enable = true
canal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}
canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername = canal
canal.instance.tsdb.dbPassword = canal
# dump snapshot interval, default 24 hour
canal.instance.tsdb.snapshot.interval = 24
# purge snapshot expire , default 360 hour(15 days)
canal.instance.tsdb.snapshot.expire = 360

#################################################
#########               destinations            #############
#################################################
canal.destinations = xzb-canal
# conf root dir
canal.conf.dir = ../conf
# auto scan instance dir add/remove and start/stop instance
canal.auto.scan = true
canal.auto.scan.interval = 5
# set this value to 'true' means that when binlog pos not found, skip to latest.
# WARN: pls keep 'false' in production env, or if you know what you want.
canal.auto.reset.latest.pos.mode = false

canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml

canal.instance.global.mode = spring
canal.instance.global.lazy = false
canal.instance.global.manager.address = ${canal.admin.manager}
#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
canal.instance.global.spring.xml = classpath:spring/file-instance.xml
#canal.instance.global.spring.xml = classpath:spring/default-instance.xml

##################################################
#########             MQ Properties      #############
##################################################
# aliyun ak/sk , support rds/mq
canal.aliyun.accessKey =
canal.aliyun.secretKey =
canal.aliyun.uid=

canal.mq.flatMessage = true
canal.mq.canalBatchSize = 50
canal.mq.canalGetTimeout = 100
# Set this value to "cloud", if you want open message trace feature in aliyun.
canal.mq.accessChannel = local

canal.mq.database.hash = true
canal.mq.send.thread.size = 30
canal.mq.build.thread.size = 8

##################################################
#########                    Kafka                   #############
##################################################
kafka.bootstrap.servers = 127.0.0.1:9092
kafka.acks = all
kafka.compression.type = none
kafka.batch.size = 16384
kafka.linger.ms = 1
kafka.max.request.size = 1048576
kafka.buffer.memory = 33554432
kafka.max.in.flight.requests.per.connection = 1
kafka.retries = 0

kafka.kerberos.enable = false
kafka.kerberos.krb5.file = "../conf/kerberos/krb5.conf"
kafka.kerberos.jaas.file = "../conf/kerberos/jaas.conf"

##################################################
#########                   RocketMQ         #############
##################################################
rocketmq.producer.group = test
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic =
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag = 

##################################################
#########                   RabbitMQ         #############
##################################################
rabbitmq.host = 192.168.101.68
rabbitmq.virtual.host = /xzb
rabbitmq.exchange = exchange.canal-jzo2o
rabbitmq.username = xzb
rabbitmq.password = xzb
rabbitmq.deliveryMode = 2

创建 instance.properties，内容如下：

canal.instance.master.journal.name 用于指定主库正在写入的 binlog 文件的名称。

如果不配置 canal.instance.master.journal.name，Canal 会尝试自动检测 MySQL 主库的 binlog 文件，并从最新位置开始进行复制。

#################################################
## mysql serverId , v1.0.26+ will autoGen
canal.instance.mysql.slaveId=1000

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=192.168.101.68:3306
canal.instance.master.journal.name=mysql-bin.000001
canal.instance.master.position=0
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
# canal.instance.filter.regex=test01\\..*,test02\\..*
#canal.instance.filter.regex=test01\\..*,test02\\.t1
#canal.instance.filter.regex=jzo2o-foundations\\.serve_sync,jzo2o-orders-0\\.orders_seize,jzo2o-orders-0\\.orders_dispatch,jzo2o-orders-0\\.serve_provider_sync,jzo2o-customer\\.serve_provider_sync
canal.instance.filter.regex=jzo2o-orders-1\\.orders_dispatch,jzo2o-orders-1\\.orders_seize,jzo2o-foundations\\.serve_sync,jzo2o-customer\\.serve_provider_sync,jzo2o-orders-1\\.serve_provider_sync,jzo2o-orders-1\\.history_orders_sync,jzo2o-orders-1\\.history_orders_serve_sync,jzo2o-market\\.activity
# table black regex
canal.instance.filter.black.regex=mysql\\.slave_.*
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
#canal.mq.topic=topic_test01
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
#canal.mq.dynamicTopic=topic_test01:test01\\..*,topic_test02:test02\\..*
#canal.mq.dynamicTopic=canal-mq-jzo2o-orders-dispatch:jzo2o-orders-0\\.orders_dispatch,canal-mq-jzo2o-orders-seize:jzo2o-orders-0\\.orders_seize,canal-mq-jzo2o-foundations:jzo2o-foundations\\.serve_sync,canal-mq-jzo2o-customer-provider:jzo2o-customer\\.serve_provider_sync,canal-mq-jzo2o-orders-provider:jzo2o-orders-0\\.serve_provider_sync
canal.mq.dynamicTopic=canal-mq-jzo2o-orders-dispatch:jzo2o-orders-1\\.orders_dispatch,canal-mq-jzo2o-orders-seize:jzo2o-orders-1\\.orders_seize,canal-mq-jzo2o-foundations:jzo2o-foundations\\.serve_sync,canal-mq-jzo2o-customer-provider:jzo2o-customer\\.serve_provider_sync,canal-mq-jzo2o-orders-provider:jzo2o-orders-1\\.serve_provider_sync,canal-mq-jzo2o-orders-serve-history:jzo2o-orders-1\\.history_orders_serve_sync,canal-mq-jzo2o-orders-history:jzo2o-orders-1\\.history_orders_sync,canal-mq-jzo2o-market-resource:jzo2o-market\\.activity
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#canal.mq.dynamicTopicPartitionNum=test.*:4,mycanal:6
#################################################

创建日志目录：mkdir -p /data/soft/canal/logs /data/soft/canal/conf

启动仓库：

docker run --name canal -p 11111:11111 -d -v /data/soft/canal/instance.properties:/home/admin/canal-server/conf/xzb-canal/instance.properties  -v /data/soft/canal/canal.properties:/home/admin/canal-server/conf/canal.properties -v /data/soft/canal/logs:/home/admin/canal-server/logs/xzb-canal -v /data/soft/canal/conf:/home/admin/canal-server/conf/xzb-canal canal/canal-server:latest

3. 安装 RabbitMQ

拉取镜像（如果未拉取过镜像）

docker pull registry.cn-hangzhou.aliyuncs.com/itheima/rabbitmq:3.9.17-management-delayed

创建文件夹和文件

mkdir -p /data/soft/rabbitmq/config /data/soft/rabbitmq/data /data/soft/rabbitmq/plugins

启动容器

docker run \
--privileged \
 -e RABBITMQ_DEFAULT_USER=czri \
 -e RABBITMQ_DEFAULT_PASS=czri1234 \
 --restart=always \
 --name rabbitmq \
 --hostname rabbitmq \
 -v /data/soft/rabbitmq/config:/etc/rabbitmq \
 -v /data/soft/rabbitmq/data:/var/lib/rabbitmq \
 -p 15672:15672 \
 -p 5672:5672 \
 -d \
 registry.cn-hangzhou.aliyuncs.com/itheima/rabbitmq:3.9.17-management-delayed

启动 rabbitmq 管理端

# 启动rabbitmq管理端
rabbitmq-plugins enable rabbitmq_management
# 启动延迟队列插件
rabbitmq-plugins enable rabbitmq_delayed_message_exchange

进入 rabbitmq 管理界面：http://192.168.101.68:15672/

  1. 创建虚拟主机 /xzb

  2. 创建账号和密码：xzb/xzb

  3. 设置权限可以访问 /xzb

  4. 登录 /xzb

4. 配置 Canal + RabbitMQ

4.1 在 Canal 中配置 RabbitMQ 的连接信息：

# tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = rabbitMQ

##################################################
#########                     RabbitMQ             #############
##################################################
rabbitmq.host = 192.168.101.68
rabbitmq.virtual.host = /xzb
rabbitmq.exchange = exchange.canal-jzo2o
rabbitmq.username = xzb
rabbitmq.password = xzb
rabbitmq.deliveryMode = 2
  • 用于数据同步的 MQ 交换机：exchange.canal-jzo2o
  • 虚拟主机地址：/xzb
  • 账号和密码：xzb/xzb
  • rabbitmq.deliveryMode = 2：设置消息持久化

4.2 设置需要监听的 Mysql 库和表

修改 /data/soft/canal/instance.properties

canal.instance.filter.regex 需要监听的 Mysql 库和表

  • 全库：.*\\..*；
  • 指定库下的所有表：canal\\..*；
  • 指定库下的指定表：canal\\.canal,test\\.test；
    • 库名\\.表名：转义需要用 \\，使用逗号分隔多个库

这里配置监听 jzo2o-foundations 数据库下 serve_sync 表，如下：

canal.instance.filter.regex=jzo2o-foundations\\.serve_sync

4.3 在 Canal 配置 MQ 的 Topic

这里使用动态 topic：

canal.mq.dynamicTopic=canal-mq-jzo2o-foundations:jzo2o-foundations\\.serve_sync

上边的配置表示：对 jzo2o-foundations 数据库的 serve_sync 表的修改消息发到 topic 为 canal-mq-jzo2o-foundations 关联的队列

4.4 进入 MQ 配置交换机和队列

创建 exchange.canal-jzo2o 交换机：

创建队列：canal-mq-jzo2o-foundations

绑定交换机：

绑定成功：

5. 测试数据同步

  1. 首先重置 mysql 的 bin log：

    连接 mysql 执行：reset master

    执行后所有的 binlog 删除，从 000001 号开始

    通过 show master status; 查看 ，结果显示 mysql-bin.000001

  2. 先停止 canal：docker stop canal （如果本身就没有启动，不用操作）

  3. 删除 meta.dat：rm -rf /data/soft/canal/conf/meta.dat

  4. 启动 canal：docker start canal

修改 jzo2o-foundations 数据库的 serve_sync 表的数据，稍等片刻查看 canal-mq-jzo2o-foundations 队列，如果队列中有的消息说明同步成功，如：

Cannal + MQ数据同步
m0_74128289的博客
01-04 1082
1.在MySQL中需要创建一个用户，并授权进入mysql容器：-- 创建用户 用户名：canal 密码：canal-- 授权 *.*表示所有库允许用户查询（读取）数据库中的数据。允许用户作为 MySQL 复制从库，用于同步主库的数据。允许用户连接到主库并获取关于主库状态的信息。在MySQL配置文件my.cnf设置如下信息，开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式ROW模式表示以行为单位记录每个被修改的行的变更。
小熊家务帮day13-day14 门户管理（ES搜索，Canal+MQ同步，索引同步）
lihao1875699404的博客
06-05 1022
Canal是什么？Canal可与很多数据源进行对接，将数据由MySQL同步到ES、MQ、DB等各个数据源。官方文档：https://github.com/alibaba/canal/wiki。
SpringBoot整合Canal+RabbitMQ监听数据变更~
良月柒
03-03 1432
程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 14分钟。来自：JAVA日知录需求我想要在SpringBoot中采用一种与业务代码解耦合的方式，来实现数据的变更记录，记录的内容是新数据，如果是更新操作还得有旧数据内容。经过调研发现，使用Canal来监听MySQL的binlog变化可以实现这个需求，可是在监听到变化后需要马上保存变更记录，除非再做一些逻辑处理，于是我又结合了...
Canal+RabbitMQ实现MySQL数据增量同步
hycccccch的博客
04-02 1342
canal，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。从官方介绍就能看出，canal主要就是用来解决增量日志，增量数据订阅和消费的工具Canal可与很多数据源进行对接，将数据由MySQL同步到ES、MQ、DB等各个数据源。Canal的意思是水道/管道/沟渠，它相当于一个数据管道，通过解析MySQL的binlog日志完成数据同步工作。
Canal组件学习使用
最新发布
liushangzaibeijing的博客
04-18 1287
本篇博文是canal的科普和实战干货文章。主要有三大部分，canal使用的原理，canal服务端安装使用、canal管理的安装使用、canal的与mq、kafka、rdb、java客户端的集成使用。
canal--canal+MQ
IT利刃出鞘的博客
04-18 4165
其他网址 canal实现mysql实时数据binlog同步_数据库_阿拉斯加大闸蟹的博客-优快云博客 简介 canal官网 https://github.com/alibaba/canalhttps://github.com/alibaba/canal/wiki canal原理 canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql ma...
canal搭配RabbitMQ实现数据同步解决方案
m0_65450831的博客
09-20 1013
通过小案例快速掌握cannal的使用方式
Java：SpringBoot整合Canal+RabbitMQ组合实现MySQL数据监听
彭世瑜的博客
05-17 2685
授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant。RabbitMQ配置类 RabbitConfig.java。管理界面：http://localhost:15672/也可以先放到MQ中，再消费数据。修改MySQL中的数据，就可以监听到。配置 application.yml。SpringBoot 项目结构。采用docker会简单很多。重启canal服务端。依赖 pom.xml。
使用Canal搭配RocketMQ进行数据同步
翎墨袅
05-19 2060
修改canal.deployer-1.1.5\conf\example\instance.properties配置文件。RocketMQ不进行叙述，我这里使用的默认端口号9876。报了个致命错误，本机装的jdk17于是很多地方容易出问题。修改conf的canal.properties。于是bin目录下找到startup.bat启动。cmd重设下环境（仅此次cmd生效）再启动。2.修改MySQL的配置文件my.cnf。3.解压canal，目录为。java添加消息实体类。java添加消息消费者。
Canal+RabbitMQ数据同步环境配置
cyt涛的博客
09-13 1827
Canal 是阿里巴巴开发的开源工具，主要用于解析 MySQL 的 binlog 日志，从而实现数据同步。Canal 会模拟 MySQL 从库的协议，订阅主库的 binlog，从而获取数据库的变更信息。 将 Canal 解析到的 MySQL 数据库变更消息通过 RabbitMQ 分发给下游的消费服务。RabbitMQ 在这个场景中充当消息中间件，保证消息的可靠传递和队列管理。
实战：实现缓存和数据库一致性方案：mysql+canal+rabbitmq+redis
2301_78526383的博客
06-12 1108
最近不是正好在研究 canal 嘛，刚巧前两天看了一篇关于的文章，里边提到了一种解决方案是结合 canal 来操作的，所以阿Q就想趁热打铁，手动来实现一下。
Docker安装部署MySQL+Canal+Kafka+Camus+HIVE数据实时同步
是小南啊的博客
05-06 1891
因为公司业务需求要将mysql的数据实时同步到hive中，在网上找到一套可用的方案，即MySQL+Canal+Kafka+Camus+HIVE的数据流通方式，因为是首次搭建，所以暂时使用伪分布式的搭建方案。 一、安装docker 安装docker的教程网上一搜一大把,请参考： centos下docker安装教程 二、docker安装MySQL 安装教程网上也有很多，请参考: docker安装MySQL 1. 开启 Binlog 写入功能 安装完成后，要配置MySQL，开启binlog的写入功能,配置 b
低耦合双写一致性方案-使用canal+MQ
qq_30166465的博客
05-17 1228
> 需求：继上一篇使用xxljob实现数据的全量同步到es后，当数据库中新增、删除、修改数据时，应该对es中的对应索引库实现增量同步。 > 本文介绍了2种双写一致性方案，对其中使用MQ的方案进行了实现。
mysql与缓存数据不一致解决-canal+mq方案
qq_17236715的博客
11-24 1460
利用canal+mq的解决业务上缓存不一致的方案，对于一些常用场景、跨多系统还是很方便的，吞吐量和延时性指标均不错，适用于高并发项目。并且能够做一次统一的缓存控制，有利于整理系统内无效代码，提高代码精简度。同时，缓存一致性方便基本不能够达到强一致，在考虑时需要将实际业务代入，思考一个全面的方案。
Canal与RocketMQ的集成的思考与落地
snail-jie的博客
10-24 1331
前言 在实现RocketMQ消费端时，想参考一些标准写法，搜github了解到 rocketmq-externals项目，于是展开介绍一下 Message Connector 简介 消息路由（Message Connector）的几个概念： 简单理解Message Connector就是借RocketMQ、kafka等从某个系统获取数据，借助消费消息写入到其他系统。主要由Source Connector，Sink Connector、Runtime组成。 1.1 Source Connector负责从
canal配置rabbitmq集群
pipi_pipi_pipi的博客
06-05 765
其中，canal.mq.servers为RabbitMQ集群节点的地址和端口，多个节点使用逗号分隔；canal.mq.virtualHost为RabbitMQ的虚拟主机，默认为"/"；canal.mq.exchange为RabbitMQ的交换机名称；canal.mq.username和canal.mq.password为连接RabbitMQ的用户名和密码。这样就完成了canal和RabbitMQ集群的集成配置。
搭建canal并对接RabbitMQ
qq22692150的博客
10-20 835
搭建canal并对接RabbitMQ canal是非常好用的mysql数据增量同步工具 安装其实按照官方文档就可以了，看其他博客，难免会有差错，只会徒增不必要的时间 官方安装文档地址：QuickStart · alibaba/canal Wiki (github.com) 目标 准备工作(配置mysql、新建canal用户) 安装canal 配置canal 运行canal 观察canal成功...
Canal 实战 | 第一篇：SpringBoot 整合 Canal + RabbitMQ 实现监听 MySQL 数据库同步更新 Redis 缓存
yygr的博客
09-16 4563
译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理。
canal mq
03-30
### Canal 与消息队列 (MQ) 集成概述 Canal 是阿里巴巴开源的一款用于捕获 MySQL 数据库 Binlog 日志并将其解析为增量数据变更的工具[^1]。通过 Canal，可以实时获取数据库中的增删改操作，并将这些变化的数据发送到其他系统或服务中进行处理。通常情况下，这种场景会涉及与其他中间件（如 MQ）的集成。 #### Canal 与 MQ 的工作原理 当 Canal 捕捉到 MySQL 的数据变更后，可以通过适配器模式将这些变更事件推送到不同的消息队列系统中。常见的消息队列有 Kafka、RabbitMQ 和 RocketMQ 等。以下是具体的工作流程： 1. **MySQL 主机配置** 在 MySQL 中启用 binlog 功能，并设置其格式为 `ROW` 或 `MIXED`，以便 Canal 能够读取详细的行级日志信息。 2. **Canal Server 启动** Canal Server 连接到 MySQL 实例，订阅指定的数据库表，并监听所有的 DML/DQL 变更事件。 3. **数据转发至 MQ** 使用 Canal 提供的客户端 SDK 或插件机制，将接收到的变更事件序列化并通过网络传输给目标 MQ 系统。这一过程可能需要自定义编码逻辑来满足特定需求。 4. **下游消费者消费消息** 下游应用可以从 MQ 订阅主题或者队列，接收来自 Canal 发送的消息流，并执行相应的业务逻辑处理。 #### 技术实现细节 下面是一个基于 Spring Boot 的简单示例程序片段，展示如何利用 Canal Client 将数据写入 Apache Kafka： ```java import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.canal.protocol.Message; public class CanalKafkaIntegration { public static void main(String[] args) throws Exception { // 创建连接对象 CanalConnector connector = ...; int batchSize = 1000; while (true) { Message message = connector.getWithoutAck(batchSize); if (message != null && message.getEntries().size() > 0) { producer.send(message); // 假设有一个方法负责向Kafka推送数据 // 手动确认已成功投递 connector.ack(batchSize); } else { Thread.sleep(1000L); } } } } ``` 上述代码展示了基本框架结构，实际项目开发过程中还需要考虑异常管理、重试策略以及性能优化等问题。 #### 注意事项 - 确保生产环境下的高可用性和容灾能力设计合理； - 对敏感字段做脱敏处理后再传递出去以免泄露隐私信息； - 定期监控整个链路状态指标以及时发现潜在风险点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值