SpringCloud 整合 Canal + RabbitMQ + Redis 实现数据监听！

原创于 2025-10-18 17:05:15 发布 · 698 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spring boot #分布式 #微服务 #redis #rabbitmq

架构同时被 3 个专栏收录

70 篇文章

订阅专栏

mysql

43 篇文章

订阅专栏

12 篇文章

订阅专栏

Canal 介绍

Canal 指的是阿里巴巴开源的数据同步工具，用于数据库的实时增量数据订阅和消费。它可以针对 MySQL、MariaDB、Percona、阿里云 RDS、Gtid 模式下的异构数据同步等情况进行实时增量数据同步。

当前的 canal 支持源端 MySQL 版本包括 5.1.x、5.5.x、5.6.x、5.7.x、8.0.x.

「Canal 是如何同步数据库数据的呢？」

Canal 通过伪装成 MySQL 从服务向主服务拉取数据，所以先来了解一下 MySQL 的主从复制吧。

MySQL 主从复制原理

1、从库(Slave)会生成两个线程，I/O 线程(IOthread)，SQL 线程(SQLthread)

2、当 Slave 的 I/O 线程连接到 Master 后，会去请求 Master 的二进制日志(binlog)，此时 Master 会通过 logdump（将主库的二进制日志文件内容传输给从库的过程）给从库传输 binlog。

3、然后 Slave 将拿到的 binlog 日志依次写入 Relaylog（中继日志）的最末端，同时将读取到的 Master 的 bin-log 的文件名和位置记录到 master-info 文件中，作用为了让 Slave 知道它需要从哪个位置和哪个日志文件开始同步数据，以保证数据的一致性，并且能够及时获取到 Master 的新的更新操作，开始数据同步过程。Slave 不仅在启动时读取 master-info 文件，而且会定期更新该文件中的记录，以确保记录都是最新的。

4、最后 SQL 线程会读取 Relaylog，并解析为具体操作(比如 DDL 这种)，来实现主从库的操作一致，最终实现数据一致。

大致了解完了 MySQL 的主从复制，接着我们看 Canal 就简单啦。

❝
关注微信公众号：【Java陈序员】，获取「开源项目分享、AI副业分享、超200本经典计算机电子书籍等。」
❞

Canal 工作原理

1、Canal Server 与 MySQL 建立连接后，会通过模拟 MySQL Slave 的交互协议，伪装自己为 MySQL Slave，向 MySQL Master 发送 Dump 协议获取数据库的 binlog（二进制日志）文件。

2、Canal Server 解析 binlog 文件，通过网络将解析后的事件传输给消息中间件(Kafk、RabbitMQ 等)，实现数据的实时同步。

了解完 Canal 的原理后，我们就正式开始 RabbitMQ + Canal + Redis 实现缓存和数据库数据一致的功能。

RabbitMQ + Canal + Redis 工作原理

通过上图很好理解：

1、APP 向数据库进行写操作（比如我们更新商品信息啥的）

2、Canal 监听到数据库发生变化，便会向 RabbitMQ 传递数据库发生变化的消息

3、消费者就可以从 RabbitMQ 获取这些消息，然后进行删除缓存操作

下面通过实战让我们更好地理解是如何实现缓存和数据库数据一致性的。

实战配置

Canal 配置

修改 conf/canal.properties 配置

# 指定模式
canal.serverMode = rabbitMQ
# 指定实例,多个实例使用逗号分隔: canal.destinations = example1,example2
canal.destinations = example 

# rabbitmq 服务端 ip
rabbitmq.host = 你的ip(注意不要加端口号哦)
# rabbitmq 虚拟主机 
rabbitmq.virtual.host = / 
# rabbitmq 交换机  
rabbitmq.exchange = canal.exchange  (这是本例子用的交换机)
# rabbitmq 用户名
rabbitmq.username = 你的用户名
# rabbitmq 密码
rabbitmq.password = 你的密码
rabbitmq.deliveryMode =

修改实例配置文件 conf/example/instance.properties

#配置 slaveId,自定义,不等于 mysql 的 server Id 即可
canal.instance.mysql.slaveId=10 

# 数据库地址:配置自己的ip和端口
canal.instance.master.address=你的IP:端口号

# 数据库用户名和密码 
canal.instance.dbUsername=用户名
canal.instance.dbPassword=密码

# 指定库和表
canal.instance.filter.regex=.*\..*    // 这里的 .* 表示 canal.instance.master.address 下面的所有数据库

# mq config
# rabbitmq 的 routing key
canal.mq.topic=canal.routing.key(这是本例子用的key)

然后重启 Canal 服务。

RabbitMQ 配置

这样 RabbitMQ 就配置完啦，下面就是实战代码啦。

实战代码

CanalMessage: Canal 传来的消息

@NoArgsConstructor
@Data
publicclass CanalMessage<T> {
    private String type;
    private String table;
    private List<T> data;
    private String database;
    private Long es;
    private Integer id;
    private Boolean isDdl;
    private List<T> old;
    private List<String> pkNames;
    private String sql;
    private Long ts;
}

RabbitMQ 配置类

@Configuration
@Slf4j
publicclass RabbitConfig {

    /**
     * 消息序列化配置
     */
    @Bean
    public RabbitListenerContainerFactory<?> rabbitListenerContainerFactory(ConnectionFactory connectionFactory) {
        // SimpleRabbitListenerContainerFactory 是 RabbitMQ 提供的一个实现了 RabbitListenerContainerFactory 接口的简单消息监听器容器工厂。
        // 它的作用是创建和配置 RabbitMQ 消息监听器容器，用于监听和处理消息。
        SimpleRabbitListenerContainerFactory factory = new SimpleRabbitListenerContainerFactory();
        //ConnectionFactory 是 RabbitMQ 提供的一个接口，用于创建 RabbitMQ 的连接
        factory.setConnectionFactory(connectionFactory);
        //使用了 Jackson2JsonMessageConverter 将消息转换为 JSON 格式进行序列化和反序列化
        factory.setMessageConverter(  new Jackson2JsonMessageConverter());
        return factory;
    }
}

将消息转换为 JSON 格式，才能映射到 CanalMessage 上。

RabbitMQ + Canal 监听处理类

@Component
@Slf4j
@RequiredArgsConstructor
publicclass CanalListener {

    privatefinal SysMenuService menuService;

    //@RabbitListener(queues = "canal.queue")
    public void handleDataChange(@Payload CanalMessage message) {
        String tableName = message.getTable();

        log.info("Canal 监听 {} 发生变化；明细：{}", tableName, message);
        if (Arrays.asList("sys_menu", "sys_role", "sys_role_menu").contains(tableName)) {
            log.info("======== 清理菜单路由缓存 ========");
            menuService.cleanCache();
        }
    }
}

menuService 的 cleanCache() 是把登录时的路由列表缓存清除掉，

具体可去源码查看，在最底下。

这样我们实现缓存和数据库数据一致性的功能就完成啦，接下来测试一下。