随着微服务架构的发展，跨库join成为挑战。本文介绍了使用alibaba-canal监听数据库日志，结合Zookeeper、RocketMQ实现数据异构同步的解决方案。通过canal监听binlog，经过zookeeper确保高可用，binlog-subscribe进行消息筛选和字段映射，借助MQ解耦，下游服务订阅处理数据，有效解决复杂业务场景下的同步问题。
随着业务的发展，公司的整体架构方向向微服务演进。随之衍生出各种问题，本文主要提供的是数据库隔离（分库）之后的跨库join问题一种解决方案。
起因：
商品服务的抽离，表结构细化；导致各依赖模块出现了各种跨库join问题。在某些复杂的业务场景下，基于原表（未分库前的商品信息）的一次join操作，在新的表结构下需要做多次跨库join。基于此场景，最终确定了技术方案：
-
对于简单的跨库join操作，使用服务层代码进行数据组装的方式，通过服务调用 + 数据库in查询的方式解决。
-
对于复杂的业务操作，使用数据异构同步的方式，将细化后的商品信息同步、聚合到依赖模块的库中，以满足复杂业务的需求。
本文主要介绍一种基于alibaba-canal的数据异构同步的解决方案。
技术清单：
- Mysql – 数据库
- Canal– alibaba开源的数据库日志监听中间件
- Zookeeper – canal高可用的依赖
- RocketMQ – 消息服务
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
