Canal+MQ数据同步的方案

首先第一点:Canal 像个安插在MySQL内部的“间谍”,它实时监听数据库的所有增删改操作(记在binlog里),然后把任何变化都准确无误地抄录下来。

其次:MQ(消息队列,如Kafka/RocketMQ) 就是个“中转快递站”。Canal把变化消息打包扔到MQ里就完事儿,不关心后面谁处理、处理得快慢,实现了核心业务和数据处理之间的解耦

然后消费者从MQ里取出这些变化消息,然后想干嘛干嘛:比如同步到Elasticsearch生成搜索索引、更新Redis缓存、或者记录日志等等。

最后一点这个方案的一个好处就是业务代码无侵入,不影响主数据库性能,还能保证数据同步的实时性和可靠性(靠MQ的堆积能力)。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值