Spring Boot+RabbitMQ+Canal 解决数据一致性

于 2025-03-11 15:45:37 发布
阅读量362 收藏 6
点赞数 4
文章标签： java-rabbitmq spring boot rabbitmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_89221704/article/details/146180855
版权

一、环境配置

1.1 docker-compose.yml 配置

 

yaml
 

代码解读
 

复制代码
 

version: '3.8' services: redis: container_name: redis image: redis:6.2.7 restart: always networks: - app_net ports: - "6379:6379" volumes: - /usr/local/docker/redis/data:/data - /usr/local/docker/redis/config/redis.conf:/usr/local/redis/config/redis.conf - /usr/local/docker/redis/logs:/logs command: [ "redis-server","/usr/local/redis/config/redis.conf" ] mysql: container_name: mysql image: mysql:8.0.30 restart: always networks: - app_net ports: - "3306:3306" volumes: - /usr/local/docker/mysql/data:/var/lib/mysql - /usr/local/docker/mysql/config:/etc/mysql/conf.d environment: MYSQL_ROOT_PASSWORD: root TZ: Asia/Shanghai command: --default-authentication-plugin=mysql_native_password --character-set-server=utf8mb4 --collation-server=utf8mb4_general_ci --explicit_defaults_for_timestamp=true --lower_case_table_names=1 --log-bin=/var/lib/mysql/mysql-bin --server-id=1 --binlog-format=ROW --expire_logs_days=7 --max_binlog_size=500M canal: image: canal/canal-server:v1.1.5 container_name: canal restart: always ports: - 11110:11110 - 11111:11111 - 11112:11112 volumes: - /usr/local/docker/canal/conf/canal.properties:/home/admin/canal-server/conf/canal.properties - /usr/local/docker/canal/conf/instance.properties:/home/admin/canal-server/conf/example/instance.properties - /usr/local/docker/canal/logs:/home/admin/canal-server/logs networks: - app_net depends_on: - mysql - rabbitmq rabbitmq: image: rabbitmq:3-management container_name: rabbitmq restart: always ports: - "5672:5672" - "15672:15672" volumes: - /usr/local/docker/rabbitmq/data/:/var/lib/rabbitmq/ - /usr/local/docker/rabbitmq/log/:/var/log/rabbitmq/ environment: - RABBITMQ_DEFAULT_USER=guest - RABBITMQ_DEFAULT_PASS=guest networks: - app_net networks: app_net: driver: bridge 
 

1.2 docker-compose 常用命令
 

 

bash
 

代码解读
 

复制代码
 

# 后台启动容器编排文件 docker-compose up -d [service] # 停止up命令所启动的容器，并移除网络 docker-compose down # 进入指定容器 docker-compose exec [service] # 列出项目中所有的容器 docker-compose ps [service] # 重启项目中容器 docker-compose restart [service] # 删除项目中所有容器 docker-compose rm -f [service] # 启动项目中容器（或指定容器） docker-compose start [service] # 暂停项目中容器（或指定容器） docker-compose stop [service] 
 

1.3 镜像服务启动状态
 

 

bash
 

代码解读
 

复制代码
 

[root@lavm-13jmyj9ugf docker]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 0d4260bc557b canal/canal-server:v1.1.5 "/alidata/bin/main.s…" 38 minutes ago Up 38 minutes 9100/tcp, 0.0.0.0:11110-11112->11110-11112/tcp, :::11110-11112->11110-11112/tcp canal c66b3f1f13a9 mysql:8.0.30 "docker-entrypoint.s…" 38 minutes ago Up 38 minutes 0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp mysql 645e27bd4001 rabbitmq:3-management "docker-entrypoint.s…" 5 hours ago Up 49 minutes 4369/tcp, 5671/tcp, 0.0.0.0:5672->5672/tcp, :::5672->5672/tcp, 15671/tcp, 15691-15692/tcp, 25672/tcp, 0.0.0.0:15672->15672/tcp, :::15672->15672/tcp rabbitmq f55d42cbbd8e redis:6.2.7 "docker-entrypoint.s…" 3 days ago Up 49 minutes 0.0.0.0:6379->6379/tcp, :::6379->6379/tcp redis 
 

二、MySQL binlog 配置
 

2.1 docker-compose command 配置 binlog
 

 

bash
 

代码解读
 

复制代码
 

--log-bin=/var/lib/mysql/mysql-bin --server-id=1 --binlog-format=ROW --expire_logs_days=7 --max_binlog_size=500M 
 

2.2 创建canal用户，以及查看是否开启binlog
 

 

bash
 

代码解读
 

复制代码
 

mysql> CREATE USER canal IDENTIFIED BY 'canal'; Query OK, 0 rows affected (0.05 sec) mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; Query OK, 0 rows affected (0.05 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.05 sec) mysql> select * from mysql.user where User = 'canal'; +------+-------+-------------+-------------+-------------+-------------+-------------+-----------+-------------+---------------+--------------+-----------+------------+-----------------+------------+------------+--------------+------------+-----------------------+------------------+--------------+-----------------+------------------+------------------+----------------+---------------------+--------------------+------------------+------------+--------------+------------------------+----------+------------+-------------+--------------+---------------+-------------+-----------------+----------------------+-----------------------+-------------------------------------------+------------------+-----------------------+-------------------+----------------+------------------+----------------+------------------------+---------------------+--------------------------+-----------------+ | Host | User | Select_priv | Insert_priv | Update_priv | Delete_priv | Create_priv | Drop_priv | Reload_priv | Shutdown_priv | Process_priv | File_priv | Grant_priv | References_priv | Index_priv | Alter_priv | Show_db_priv | Super_priv | Create_tmp_table_priv | Lock_tables_priv | Execute_priv | Repl_slave_priv | Repl_client_priv | Create_view_priv | Show_view_priv | Create_routine_priv | Alter_routine_priv | Create_user_priv | Event_priv | Trigger_priv | Create_tablespace_priv | ssl_type | ssl_cipher | x509_issuer | x509_subject | max_questions | max_updates | max_connections | max_user_connections | plugin | authentication_string | password_expired | password_last_changed | password_lifetime | account_locked | Create_role_priv | Drop_role_priv | Password_reuse_history | Password_reuse_time | Password_require_current | User_attributes | +------+-------+-------------+-------------+-------------+-------------+-------------+-----------+-------------+---------------+--------------+-----------+------------+-----------------+------------+------------+--------------+------------+-----------------------+------------------+--------------+-----------------+------------------+------------------+----------------+---------------------+--------------------+------------------+------------+--------------+------------------------+----------+------------+-------------+--------------+---------------+-------------+-----------------+----------------------+-----------------------+-------------------------------------------+------------------+-----------------------+-------------------+----------------+------------------+----------------+------------------------+---------------------+--------------------------+-----------------+ | % | canal | Y | N | N | N | N | N | N | N | N | N | N | N | N | N | N | N | N | N | N | Y | Y | N | N | N | N | N | N | N | N | | | | | 0 | 0 | 0 | 0 | mysql_native_password | *E3619321C1A937C46A0D8BD1DAC39F93B27D4458 | N | 2025-03-10 11:53:49 | NULL | N | N | N | NULL | NULL | NULL | NULL | +------+-------+-------------+-------------+-------------+-------------+-------------+-----------+-------------+---------------+--------------+-----------+------------+-----------------+------------+------------+--------------+------------+-----------------------+------------------+--------------+-----------------+------------------+------------------+----------------+---------------------+--------------------+------------------+------------+--------------+------------------------+----------+------------+-------------+--------------+---------------+-------------+-----------------+----------------------+-----------------------+-------------------------------------------+------------------+-----------------------+-------------------+----------------+------------------+----------------+------------------------+---------------------+--------------------------+-----------------+ 1 row in set (0.08 sec) mysql> show variables like 'log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin | ON | +---------------+-------+ 1 row in set (0.30 sec) 
 

三、canal 相关配置文件
 

canal.properties 主要核心配置
 

canal.serverMode=rabbitMQ：选择 RabbitMQ 作为通知服务模型。 rabbitmq.host=rabbitmq：基于 Docker 同一网络下，可以使用容器名称代替 host。 rabbitmq.queue、rabbitmq.routingKey、rabbitmq.exchange ： RabbitMQ 的三件套，用于后续创建具体通道监听。
 

 

properties
 

代码解读
 

复制代码
 

################################################# ######### common argument ############# ################################################# # tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ 支持的服务模型，tcp直连或mq，此处我选择RabbitMQ canal.serverMode=rabbitMQ ################################################## ######### RabbitMQ ############# ################################################## rabbitmq.host=rabbitmq rabbitmq.virtual.host=/ rabbitmq.exchange=canal-exchange rabbitmq.username=guest rabbitmq.password=guest rabbitmq.queue=canal-queue rabbitmq.routingKey=canal-routing-key rabbitmq.deliveryMode= 
 

instance.properties 主要核心配置 canal.instance.master.address 数据库地址 canal.instance.dbUsername 数据库用户名 canal.instance.dbPassword 数据库密码 canal.mq.topic RabbitMQ路由
 

 

properties
 

代码解读
 

复制代码
 

# 数据地址，此处mysql，是因为canal和mysql是同一network下，可以使用容器名称代替具体ip canal.instance.master.address=mysql:3306 # username/password canal.instance.dbUsername=root canal.instance.dbPassword=root # mq config canal.mq.topic=canal-routing-key 
 

3.1 canal.properties 完整文件
 

 

properties
 

代码解读
 

复制代码
 

################################################# ######### common argument ############# ################################################# canal.ip= canal.register.ip= canal.port=11111 canal.metrics.pull.port=11112 canal.admin.port=11110 canal.admin.user=admin canal.admin.passwd= canal.zkServers= canal.zookeeper.flush.period=1000 canal.withoutNetty=false canal.serverMode=rabbitMQ canal.file.data.dir=${canal.conf.dir} canal.file.flush.period=1000 canal.instance.memory.buffer.size=16384 canal.instance.memory.buffer.memunit=1024 canal.instance.memory.batch.mode=MEMSIZE canal.instance.memory.rawEntry=true canal.instance.detecting.enable=false canal.instance.detecting.sql=select 1 canal.instance.detecting.interval.time=3 canal.instance.detecting.retry.threshold=3 canal.instance.detecting.heartbeatHaEnable=false canal.instance.transaction.size=1024 canal.instance.fallbackIntervalInSeconds=60 canal.instance.network.receiveBufferSize=16384 canal.instance.network.sendBufferSize=16384 canal.instance.network.soTimeout=30 canal.instance.filter.druid.ddl=true canal.instance.filter.query.dcl=false canal.instance.filter.query.dml=false canal.instance.filter.query.ddl=false canal.instance.filter.table.error=false canal.instance.filter.rows=false canal.instance.filter.transaction.entry=false canal.instance.filter.dml.insert=false canal.instance.filter.dml.update=false canal.instance.filter.dml.delete=false canal.instance.binlog.format=ROW,STATEMENT,MIXED canal.instance.binlog.image=FULL,MINIMAL,NOBLOB canal.instance.get.ddl.isolation=false canal.instance.parser.parallel=true canal.instance.parser.parallelThreadSize = 16 canal.instance.parser.parallelBufferSize=256 canal.instance.tsdb.enable=true canal.instance.tsdb.dir=${canal.file.data.dir:../conf}/${canal.instance.destination:} canal.instance.tsdb.url=jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL; canal.instance.tsdb.dbUsername=canal canal.instance.tsdb.dbPassword=canal canal.instance.tsdb.snapshot.interval=24 canal.instance.tsdb.snapshot.expire=360 ################################################# ######### destinations ############# ################################################# canal.destinations=example canal.conf.dir=../conf canal.auto.scan=true canal.auto.scan.interval=5 canal.auto.reset.latest.pos.mode=false canal.instance.tsdb.spring.xml=classpath:spring/tsdb/h2-tsdb.xml canal.instance.global.mode=spring canal.instance.global.lazy=false canal.instance.global.manager.address=${canal.admin.manager} canal.instance.global.spring.xml=classpath:spring/file-instance.xml ################################################## ######### MQ Properties ############# ################################################## canal.aliyun.accessKey= canal.aliyun.secretKey= canal.aliyun.uid= canal.mq.flatMessage=true canal.mq.canalBatchSize=50 canal.mq.canalGetTimeout=100 canal.mq.accessChannel=local canal.mq.database.hash=true canal.mq.send.thread.size=30 canal.mq.build.thread.size=8 ################################################## ######### Kafka ############# ################################################## kafka.bootstrap.servers=127.0.0.1:9092 kafka.acks=all kafka.compression.type=none kafka.batch.size=16384 kafka.linger.ms=1 kafka.max.request.size=1048576 kafka.buffer.memory=33554432 kafka.max.in.flight.requests.per.connection=1 kafka.retries=0 kafka.kerberos.enable=false kafka.kerberos.krb5.file=../conf/kerberos/krb5.conf kafka.kerberos.jaas.file=../conf/kerberos/jaas.conf ################################################## ######### RocketMQ ############# ################################################## rocketmq.producer.group=test rocketmq.enable.message.trace=false rocketmq.customized.trace.topic= rocketmq.namespace= rocketmq.namesrv.addr=127.0.0.1:9876 rocketmq.retry.times.when.send.failed=0 rocketmq.vip.channel.enabled=false rocketmq.tag= ################################################## ######### RabbitMQ ############# ################################################## rabbitmq.host=rabbitmq rabbitmq.virtual.host=/ rabbitmq.exchange=canal-exchange rabbitmq.username=guest rabbitmq.password=guest rabbitmq.queue=canal-queue rabbitmq.routingKey=canal-routing-key rabbitmq.deliveryMode= ################################################## ######### Pulsar ############# ################################################## pulsarmq.serverUrl= pulsarmq.roleToken= pulsarmq.topicTenantPrefix= 
 

3.2 instance.properties 完整文件
 

 

properties
 

代码解读
 

复制代码
 

################################################# ## mysql serverId , v1.0.26+ will autoGen # canal.instance.mysql.slaveId=0 # enable gtid use true/false canal.instance.gtidon=false # rds oss binlog canal.instance.rds.accesskey= canal.instance.rds.secretkey= canal.instance.rds.instanceId= # position info canal.instance.master.address=mysql:3306 canal.instance.master.journal.name= canal.instance.master.position= canal.instance.master.timestamp= canal.instance.master.gtid= # multi stream for polardbx canal.instance.multi.stream.on=false # ssl #canal.instance.master.sslMode=DISABLED #canal.instance.master.tlsVersions= #canal.instance.master.trustCertificateKeyStoreType= #canal.instance.master.trustCertificateKeyStoreUrl= #canal.instance.master.trustCertificateKeyStorePassword= #canal.instance.master.clientCertificateKeyStoreType= #canal.instance.master.clientCertificateKeyStoreUrl= #canal.instance.master.clientCertificateKeyStorePassword= # table meta tsdb info canal.instance.tsdb.enable=true #canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb #canal.instance.tsdb.dbUsername=canal #canal.instance.tsdb.dbPassword=canal #canal.instance.standby.address = #canal.instance.standby.journal.name = #canal.instance.standby.position = #canal.instance.standby.timestamp = #canal.instance.standby.gtid= # username/password canal.instance.dbUsername=root canal.instance.dbPassword=admin123!@# canal.instance.connectionCharset = UTF-8 # enable druid Decrypt database password canal.instance.enableDruid=false #canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ== # table regex canal.instance.filter.regex=.*\\..* # table black regex canal.instance.filter.black.regex=mysql\\.slave_.* # table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2) #canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch # table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2) #canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch # mq config canal.mq.topic=canal-routing-key # dynamic topic route by schema or table regex #canal.mq.dynamicTopic=mytest1.user,topic2:mytest2\\..*,.*\\..* canal.mq.partition=0 # hash partition config #canal.mq.enableDynamicQueuePartition=false #canal.mq.partitionsNum=3 #canal.mq.dynamicTopicPartitionNum=test.*:4,mycanal:6 #canal.mq.partitionHash=test.table:id^name,.*\\..* ################################################# 
 

3.3 检查配置是否与宿主机一致
 

进入容器内部：docker exec -it canal bash
 

检查配置文件内容是否与宿主机一致：
 

  • cat /home/admin/canal-server/conf/canal.properties
  • cat /home/admin/canal-server/conf/example/instance.properties
 

3.4 开启相关端口防火墙配置
 

  • canal：11110、11111、11112
  • mysql：3306
  • redis：6379
  • RabbitMQ： 15672、5672  
    在这里插入图片描述
     
 

四、代码实现
 

4.1 相关pom依赖引入
 

 

xml
 

代码解读
 

复制代码
 

<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.7.15</version> <relativePath/> <!-- lookup parent from repository --> </parent> <!-- Spring Boot MQ 依赖 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency> <!-- canal --> <dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version>1.1.0</version> </dependency> 
 

4.2 完整pom.xml
 

 

xml
 

代码解读
 

复制代码
 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.neo</groupId> <artifactId>code-repository</artifactId> <version>1.0-SNAPSHOT</version> <packaging>jar</packaging> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.7.15</version> <relativePath/> <!-- lookup parent from repository --> </parent> <name>code-repository</name> <properties> <java.version>17</java.version> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hutool.version>5.8.20</hutool.version> <mysql.version>8.0.30</mysql.version> <mybatis-plus.version>3.5.3.1</mybatis-plus.version> <redis.version>3.1.0</redis.version> <druid.version>1.2.16</druid.version> <fastjson.version>1.2.83</fastjson.version> <sa-token.version>1.37.0</sa-token.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-mail</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-pool2</artifactId> </dependency> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>${mybatis-plus.version}</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>${mysql.version}</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>${druid.version}</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>${fastjson.version}</version> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>${hutool.version}</version> </dependency> <dependency> <groupId>cn.dev33</groupId> <artifactId>sa-token-spring-boot-starter</artifactId> <version>${sa-token.version}</version> </dependency> <dependency> <groupId>cn.dev33</groupId> <artifactId>sa-token-redis-jackson</artifactId> <version>${sa-token.version}</version> </dependency> <dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version>1.1.0</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project> 
 

4.3 application.yml 配置
 

 

yaml
 

代码解读
 

复制代码
 

spring: rabbitmq: host: localhost port: 5672 username: guest password: guest virtual-host: / publisher-confirm-type: correlated publisher-returns: true 
 

4.4 完整application.yml配置
 

 

yaml
 

代码解读
 

复制代码
 

server: port: 8088 servlet: context-path: /api spring: datasource: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/db_v1?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai username: root password: root druid: initial-size: 5 min-idle: 5 max-active: 20 max-wait: 60000 validation-query: SELECT 1 test-while-idle: true stat-view-servlet: enabled: true url-pattern: /druid/* login-username: admin login-password: admin123 web-stat-filter: enabled: true url-pattern: /* exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" filter: stat: enabled: true log-slow-sql: true slow-sql-millis: 1000 wall: enabled: true config: drop-table-allow: false redis: host: localhost port: 6379 password: 123456 database: 0 timeout: 5000 lettuce: pool: max-active: 8 max-wait: -1 max-idle: 8 min-idle: 0 mail: host: smtp.aliyun.com username: password: port: 25 properties: mail: smtp: auth: true starttls: enable: true required: true rabbitmq: host: localhost port: 5672 username: guest password: guest virtual-host: / publisher-confirm-type: correlated publisher-returns: true mybatis-plus: mapper-locations: classpath*:mapper/*_Mapper.xml global-config: db-config: logic-delete-field: delFlag logic-delete-value: 1 logic-not-delete-value: 0 configuration: log-impl: org.apache.ibatis.logging.stdout.StdOutImpl 
 

4.5 RabbitConstants 基础常量配置
 

 

java
 

代码解读
 

复制代码
 

public interface RabbitConstants { interface Canal { String QUEUE = "canal-queue"; String EXCHANGE = "canal-exchange"; String ROUTING = "canal-routing-key"; } interface EventType { String INSERT = "INSERT"; String UPDATE = "UPDATE"; String DELETE = "DELETE"; } } 
 

4.6 CanalMqConfigure MQ队列交换机配置
 

 

java
 

代码解读
 

复制代码
 

@Configuration public class CanalMqConfigure { @Bean public Queue queue() { return new Queue(RabbitConstants.Canal.QUEUE, true); } @Bean public DirectExchange directExchange() { return new DirectExchange(RabbitConstants.Canal.EXCHANGE, true, false); } @Bean public Binding bindingCanal() { return BindingBuilder.bind(queue()) .to(directExchange()) .with(RabbitConstants.Canal.ROUTING); } } 
 

4.7 CanalConsumer 消费者
 

 

java
 

代码解读
 

复制代码
 

package com.neo.core.canal; import com.neo.core.constant.RabbitConstants; import lombok.extern.slf4j.Slf4j; import org.springframework.amqp.rabbit.annotation.RabbitHandler; import org.springframework.amqp.rabbit.annotation.RabbitListener; import org.springframework.stereotype.Component; import java.util.List; import java.util.Map; @Slf4j @Component @RabbitListener(queues = RabbitConstants.Canal.QUEUE) public class CanalConsumer { @RabbitHandler public void execute(Map<String, Object> msg) { log.info("canal消息监听事件触发,消息内容：{}", msg); boolean isDdl = (boolean) msg.get("isDdl"); if (isDdl) { return; } String database = (String) msg.get("database"); String table = (String) msg.get("table"); String type = (String) msg.get("type"); List<?> data = (List<?>) msg.get("data"); log.info("database:{}.table:{}", database, table); if (RabbitConstants.EventType.INSERT.equalsIgnoreCase(type)) { System.out.println("INSERT"); } else if (RabbitConstants.EventType.UPDATE.equalsIgnoreCase(type)) { System.out.println("UPDATE"); } else if (RabbitConstants.EventType.DELETE.equalsIgnoreCase(type)) { System.out.println("DELETE"); } else { // 其他事件 } } } 
 

五、运行与测试
 

当MySQL数据出现变动后，会触发canal-queue的监听事件，后续可根据具体业务逻辑实现业务处理。
 

 

java
 

代码解读
 

复制代码
 

25-03-10.16:51:28.431 [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-1] INFO CanalConsumer - canal消息监听事件触发,消息内容：{data=[{id=2, account=test, password=9c79685ab5ca920a187d94688d6f1845, salt=7c2b6b0caf0b4174816e2a4bf5f05cba, email=test@qq.com, nick_name=test1, enabled=1, create_by=0, create_time=2025-03-08 22:22:00, update_by=0, update_time=2025-03-08 22:22:01, del_flag=0}], database=db_v1, es=1741596660000, id=5, isDdl=false, mysqlType={id=bigint, account=varchar(128), password=varchar(128), salt=varchar(128), email=varchar(64), nick_name=varchar(32), enabled=tinyint(1), create_by=bigint, create_time=datetime, update_by=bigint, update_time=datetime, del_flag=tinyint(1)}, old=null, pkNames=[id], sql=, sqlType={id=-5, account=12, password=12, salt=12, email=12, nick_name=12, enabled=-6, create_by=-5, create_time=93, update_by=-5, update_time=93, del_flag=-6}, table=sys_user, ts=1741596660932, type=DELETE} 25-03-10.16:51:28.431 [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-1] INFO CanalConsumer - database:db_v1.table:sys_user DELETE 25-03-10.16:51:31.523 [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-1] INFO CanalConsumer - canal消息监听事件触发,消息内容：{data=[{id=2, account=test, password=9c79685ab5ca920a187d94688d6f1845, salt=7c2b6b0caf0b4174816e2a4bf5f05cba, email=test@qq.com, nick_name=test, enabled=1, create_by=0, create_time=2025-03-08 22:22:00, update_by=0, update_time=2025-03-08 22:22:01, del_flag=0}], database=db_v1, es=1741596663000, id=6, isDdl=false, mysqlType={id=bigint, account=varchar(128), password=varchar(128), salt=varchar(128), email=varchar(64), nick_name=varchar(32), enabled=tinyint(1), create_by=bigint, create_time=datetime, update_by=bigint, update_time=datetime, del_flag=tinyint(1)}, old=null, pkNames=[id], sql=, sqlType={id=-5, account=12, password=12, salt=12, email=12, nick_name=12, enabled=-6, create_by=-5, create_time=93, update_by=-5, update_time=93, del_flag=-6}, table=sys_user, ts=1741596664038, type=INSERT} 25-03-10.16:51:31.523 [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-1] INFO CanalConsumer - database:db_v1.table:sys_user INSERT 25-03-10.16:51:36.030 [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-1] INFO CanalConsumer - canal消息监听事件触发,消息内容：{data=[{id=2, account=test1, password=9c79685ab5ca920a187d94688d6f1845, salt=7c2b6b0caf0b4174816e2a4bf5f05cba, email=test@qq.com, nick_name=test, enabled=1, create_by=0, create_time=2025-03-08 22:22:00, update_by=0, update_time=2025-03-08 22:22:01, del_flag=0}], database=db_v1, es=1741596668000, id=7, isDdl=false, mysqlType={id=bigint, account=varchar(128), password=varchar(128), salt=varchar(128), email=varchar(64), nick_name=varchar(32), enabled=tinyint(1), create_by=bigint, create_time=datetime, update_by=bigint, update_time=datetime, del_flag=tinyint(1)}, old=[{account=test}], pkNames=[id], sql=, sqlType={id=-5, account=12, password=12, salt=12, email=12, nick_name=12, enabled=-6, create_by=-5, create_time=93, update_by=-5, update_time=93, del_flag=-6}, table=sys_user, ts=1741596668545, type=UPDATE} 25-03-10.16:51:36.030 [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-1] INFO CanalConsumer - database:db_v1.table:sys_user UPDATE 
 

以上是RabbitMQ+Canal数据一致性的完整解决方案，包括环境配置、代码实现以及运行测试等环节，确保了数据在不同系统间的一致性和可靠性。

                

        

    

  



    



                



	

		

			

				
					
Canal 如何实现数据库库事务的一致性，三面腾讯，已拿offer

				
			

			

				

					m0_60750088的博客
				

				

					03-26
					
					815
					
				

			

		

		

			
				
至此，文章终于到了尾声。技术能力：先写岗位所需能力，再写加分能力，不要写无关能力；项目经历：只写明星项目，描述遵循 STAR 法则；简历印象：简历遵循三大原则：清晰，简短，必要，要有的放矢，不要海投；以及最后为大家准备的福利时间：简历模板+Java面试题+热门技术系列教程视频[外链图片转存中…(img-hEPGBUDP-1711383967259)][外链图片转存中…(img-CNCQUHNy-1711383967259)]本文已被。

			
		

	



                

            
              



	

		

			

				
					
SpringBoot整合Canal+RabbitMQ监听数据变更~

					
最新发布

				
			

			

				

					lingqu＋wx bjmsb06
				

				

					01-02
					
					759
					
				

			

		

		

			
				
在这个场景中，Canal 作为 MySQL binlog 的监听者，能够捕获数据库表的所有变化（比如插入、更新、删除）。这些变化会通过 RabbitMQ 发送到消息队列中，其他服务可以异步消费这些数据并进行处理，比如更新缓存、触发后续业务逻辑等。这个架构有很多好处，尤其是在解耦和异步处理上，系统的稳定性和扩展性都能得到有效提升。

			
		

	



              


  
              

                


	

		

			

				
					
微服务22_多级缓存03：Canal缓存和数据保持一致性

				
			

			

				

					weixin_43989347的博客
				

				

					04-08
					
					3096
					
				

			

		

		

			
				
微服务21_多级缓存03：缓存同步一、缓存同步策略介绍Canal二、安装Canal1.开启MySQL主从--》开启binlog2.开启MySQL主从--》设置用户权限3.安装Canal-》创建网络4.安装Canal-》上传.tar文件，load解压5.运行容器三、监听Canal1.引入依赖：2.编写配置：3.修改Item实体类4.编写监听器 （Redis/ jvm缓存同步）测试：
大多数情况下，浏览器查询到的都是缓存数据，如果缓存数据与数据库数据存在较大差异，可能会产生比较严重的后果。
所以我们必须保证数据

			
		

	





	

		

			

				
					
Canal 如何实现数据库库事务的一致性

				
			

			

				

					2401_83817916的博客
				

				

					03-23
					
					925
					
				

			

		

		

			
				
Java面试核心知识点一共有30个专题，足够读者朋友们应付面试啦，也节省朋友们去到处搜刮资料自己整理的时间！Java面试核心知识点一共有30个专题，足够读者朋友们应付面试啦，也节省朋友们去到处搜刮资料自己整理的时间！[外链图片转存中…(img-tAAPieTq-1711202024848)]Java面试核心知识点点击传送门，即可免费领取！

			
		

	



		

			
		



	

		

			

				
					
canal如何解决缓存一致性问题的

				
			

			

				

					2301_80100731的博客
				

				

					02-27
					
					1784
					
				

			

		

		

			
				
缓存一致性（Cache Coherence）是一个在计算机科学和分布式系统中广泛使用的概念，指的是在多个缓存副本之间保持数据一致性的能力。当多个系统或组件（如数据库和缓存）存储相同的数据时，这些系统或组件之间的数据需要保持一致，否则可能会出现不一致的状态，导致数据错误或业务逻辑错误。

			
		

	





	

		

			

				
					
基于binlog+Canal+Redis保姆级教程，帮助您实现数据一致性落地的全过程！

				
			

			

				

					竹林幽深
				

				

					08-09
					
					3851
					
				

			

		

		

			
				
canal 是阿里巴巴的一个开源项目，基于java实现，整体已经在很多大型的互联网项目生产环境中使用，包括阿里、美团等都有广泛的应用， 是一个非常成熟的数据库同步方案，基础的使用只需要进行简单的配置即可。canal是通过模拟成为mysql 的slave的方式， 监听mysql 的binlog日志来获取数据，binlog设置为row模式以后，不仅能获取到执行的每一个增删改的脚本，同时还能获取到修改前和修改后的数据，基于这个特性，canal就能高性能的获取到mysql数据数据的变更。

			
		

	





	

		

			

				
					
canal整合rabbitmq实现redis和mysql数据一致

				
			

			

				

					weixin_68742131的博客
				

				

					03-24
					
					771
					
				

			

		

		

			
				
因为网上rabbitmq整合canal的教程较少，几乎没有，所以我自己摸索了一下，并成功整合，并分享一下详细步骤，期间遇到的bug蛮多的。

			
		

	





	

		

			

				
					
利用Canal+RabbitMQ实现MySQL数据库同步教程

				
			

			

				

					
				

			

		

		

			
				
使用Canal监听MySQL的binlog可以实现低延迟的数据同步，保证数据的一致性和实时性。通过结合RabbitMQ，可以将Canal捕获到的数据变更事件放入消息队列中，供后续的消费者进行处理。这种方式可以解耦生产者和消费者，...

			
		

	





	

		

			

				
					
Canal + Kafka 同步 MySQL 数据到 Redis

				
			

			

				

					Zxdwr520的博客
				

				

					02-23
					
					993
					
				

			

		

		

			
				
实现数据同步

			
		

	





	

		

			

				
					
RabbitMQ 可靠性、重复消费、顺序性、消息积压解决方案

				
			

			

				

					xhbzl的博客
				

				

					08-26
					
					690
					
				

			

		

		

			
				
为什么引入消息队列？引入 MQ 给我们解决了一些问题，但同时又引入了一些复杂的问题，这些问题是大型项目中必须解决的重点，更重要的是，面试也经常问。实际上消息队列可以说是没法百分之百保证可靠性的！RabbitMQ 提供的相关机制也只是在于缩小消息丢失的概率，或者说提供了消息丢失后的我们可以记录日志的功能。在解决这些问题时有必要明白一点，其实小公司业务量不大，并发量不高的情况下这些问题是几乎不会发生的......即使偶尔出现，开发人员手动修复数据处理就好。所以可结合公司实际业务场景看有没有必要解决这些问题。..

			
		

	





	

		

			

				
					
实战：实现缓存和数据库一致性方案：mysql+canal+rabbitmq+redis

				
			

			

				

					2301_78526383的博客
				

				

					06-12
					
					1108
					
				

			

		

		

			
				
最近不是正好在研究 canal 嘛，刚巧前两天看了一篇关于的文章，里边提到了一种解决方案是结合 canal 来操作的，所以阿Q就想趁热打铁，手动来实现一下。

			
		

	





	

		

			

				
					
06.分布式解决方案-canal解决mysql与redis数据一致性问题

				
			

			

				

					陌陌龙的博客
				

				

					06-22
					
					1533
					
				

			

		

		

			
				
06.分布式解决方案-canal解决mysql与redis数据一致性问题

			
		

	





	

		

			

				
					
canal配置rabbitmq集群

				
			

			

				

					pipi_pipi_pipi的博客
				

				

					06-05
					
					765
					
				

			

		

		

			
				
其中，canal.mq.servers为RabbitMQ集群节点的地址和端口，多个节点使用逗号分隔；canal.mq.virtualHost为RabbitMQ的虚拟主机，默认为"/"；canal.mq.exchange为RabbitMQ的交换机名称；canal.mq.username和canal.mq.password为连接RabbitMQ的用户名和密码。这样就完成了canal和RabbitMQ集群的集成配置。

			
		

	





	

		

			

				
					
Canal+RabbitMQ数据同步环境配置

				
			

			

				

					cyt涛的博客
				

				

					09-13
					
					1827
					
				

			

		

		

			
				
Canal 是阿里巴巴开发的开源工具，主要用于解析 MySQL 的 binlog 日志，从而实现数据同步。Canal 会模拟 MySQL 从库的协议，订阅主库的 binlog，从而获取数据库的变更信息。

将 Canal 解析到的 MySQL 数据库变更消息通过 RabbitMQ 分发给下游的消费服务。RabbitMQ 在这个场景中充当消息中间件，保证消息的可靠传递和队列管理。

			
		

	





	

		

			

				
					
Canal同步Mysql实时操作日志至RabbitMQ，并实现监听及解析处理

				
			

			

				

					a6780144的博客
				

				

					04-03
					
					2070
					
				

			

		

		

			
				
使用Canal + RabbitMQ，实现Mysql数据库实时操作通知及业务处理

			
		

	





	

		

			

				
					
Java：SpringBoot整合Canal+RabbitMQ组合实现MySQL数据监听

				
			

			

				

					彭世瑜的博客
				

				

					05-17
					
					2685
					
				

			

		

		

			
				
授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant。RabbitMQ配置类 RabbitConfig.java。管理界面：http://localhost:15672/也可以先放到MQ中，再消费数据。修改MySQL中的数据，就可以监听到。配置 application.yml。SpringBoot 项目结构。采用docker会简单很多。重启canal服务端。依赖 pom.xml。

			
		

	





	

		

			

				
					
canal安装使用

				
			

			

				

					王者归来
				

				

					12-11
					
					1402
					
				

			

		

		

			
				
下载# 客户端# 管理端# 服务端。

			
		

	





	

		

			

				
					
如何扩大缓存区_Canal 如何实现数据库库事务的一致性

				
			

			

				

					weixin_33308507的博客
				

				

					12-27
					
					322
					
				

			

		

		

			
				
本文将主要介绍在 EventParser binlog 日志同步流程中关于环形缓存区的使用技巧。1、环形缓存区关系型数据库讲究的是ACID 4个特性，故引入了数据库事务的概念，一个数据库事务中的多条SQL引发的多条数据变更要么全部成功，要么全部失败，即数据的一致性，那同样在数据同步的场景，在解析一个事务的 binlog 日志时，一次数据同步应该至少以事务为单位，一个事务内的所有 Event 应该作...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值