使用canal同步mysql数据库到redis +实践策略模式

最新推荐文章于 2023-09-20 21:16:56 发布

Mr__simon

最新推荐文章于 2023-09-20 21:16:56 发布

阅读量3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： java 文章标签： redis 数据库 mysql 策略模式

本文链接：https://blog.youkuaiyun.com/Mr__simon/article/details/123549828

背景

为提高系统性能、减小数据库压力，需要对频繁查询的数据进行缓存处理。为保证mysql和redis数据一致，网上博客一大堆缓存同步策略，最核心的问题其实还是数据修改时的数据一致性：先更新（删除）缓存再更新数据库、先更新数据库再更新(删除)缓存、延时双删等。

以上所说的这些策略主要是考虑并发场景下db-redis之间的数据最终一致，如果业务场景没有多大的并发，或缓存的数据大多是配置之类不影响业务主流程的数据，其实以上策略基本也不会有问题。如果想做到数据强一致，那就只有一种方式就是串行，但是串行必然导致性能的降低，所以是要性能还是要数据强一致就需要根据实际业务来权衡了（CAP原理的体现）。
canal同步缓存策略

下面要说的是另外一种缓存同步策略，使用canal同步mysql数据库到redis。
什么是canal？

canal是阿里推出的，官方地址：https://github.com/alibaba/canal。

在这里插入图片描述

canal 工作原理
- canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
使用canal同步mysql到redis示例流程图：

由上图可知，使用canal同步mysql到redis,也是一种异步更新缓存的方案，保证数据的最终一致。为什么要使用canal？主要考虑以下几个原因：1. 项目不是新开发，使用canal对业务的代码的侵入性小；2.基于mysql binlog监听的同步实时性较高，官方给出的说法是可以准实时。

canal server搭建
canal server搭建主要包括以下几点：
- 安装jdk，canal是由java开发，要运行canal需要安装有jdk，注意配置java环境变量
- 修改mysql配置文件 /etc/my.cnf 并重启mysql：
```
log-bin=mysql-bin     #binlog文件名
binlog_format=row     #选择row模式
server_id=1           #mysql实例id,不能和canal的slaveId重复
```
- 在mysql中创建canal使用的账号密码和权限（使用已有的账号密码也可以）：
```
CREATE USER canal IDENTIFIED BY 'canal';    
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
FLUSH PRIVILEGES;
```
- 安装canal server：
  - 下载，项目git地址:https://github.com/alibaba/canal/releases
  - 解压
  - 配置项目， conf/example/instance.properties
```
# position info
canal.instance.master.address = 127.0.0.1:3306    # mysql连接
		
canal.instance.dbUsername = canal                 # mysql账号
canal.instance.dbPassword = canal                 # 密码
canal.instance.defaultDatabaseName = test	      # 需要同步的库名
canal.instance.connectionCharset = UTF-8	      # mysql编码
```
  - 启动项目： sh bin/startup.sh （即执行bin目录下的startup.sh 脚本即可）
  - 查看日志：
    
    vim logs/canal/canal.log #canal server端运行日志
    
    vim logs/example/example.log #canal client端连接日志
    
    vim logs/example/meta.log #实例binlog 读取记录文件(记录变更位置，默认为新增变更)

开发canal client

官方demo地址：https://github.com/alibaba/canal/wiki/ClientExample

引入 canal依赖：

 <dependency>
     <groupId>com.alibaba.otter</groupId>
     <artifactId>canal.client</artifactId>
     <version>1.1.5</version>
</dependency>
<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.protocol</artifactId>
    <version>1.1.5</version>
</dependency>

配置文件中配置：

#canal服务配置
canal-server:
  #canal服务地址
  host: 192.168.1.1
  #canal服务端口
  port: 11111
  #canal服务 desrination名称
  desrination: example
  #要监控的数据库名
  data-base: my_test
  #每批处理数量
  batch-size: 1000

canal服务启动类：
说明：DTS是阿里云提供的服务，在同步缓存这方面来说，与canal实现的功能是一样的；为保证生产的稳定性，开发环境使用canal，生产环境使用DTS。（这里可以先忽略DTS，后续有时间再说DTS的使用）

/**
 * 通过监听mysql binlog同步redis缓存：非生产环境使用阿里云DTS,非生产环境（开发、测试、预生产）使用自搭建canal服务
 */
@Slf4j
@Component
public class MySQL2Redis {
       
       

    /**
     * canal服务配置<测试环境用canal>
     **/
    @Value("${canal-server.host}")
    private String canalServerHost;

    @Value("${canal-server.port}")
    private int canalServerPort;

    @Value("${canal-server.desrination}")
    private String canalServerDesrination;

    @Value("${canal-server.data-base}")
    private String dataBase;

    @Value("${canal-server.batch-size}")
    private int batchSizeInit;

    /**
     * 阿里DTS服务配置<生产环境用DTS>
     **/
    @Value("${dts.accessKey}")
    private String accessKey;

    @Value("${dts.accessSecret}")
    private String accessSecret;

    @Value("${dts.subscription_instance_id}")
    private String subscriptionInstanceId;


    @Autowired
    private SpringContextUtil springContextUtil;

    @Autowired
    private RedisUtil redisUtil;

    @Autowired
    private TableStrategyContext tableStrategyContext;

    @PostConstruct
    public void init() {
       
       
        log.info(" === start ===");
        String activeProfile = springContextUtil.getActiveProfile();
        boolean proEvn = ActiveEvnEnums.isProEvn(activeProfile);