使用canal同步mysql数据库到redis +实践策略模式

  • 背景

    为提高系统性能、减小数据库压力,需要对频繁查询的数据进行缓存处理。为保证mysql和redis数据一致,网上博客一大堆缓存同步策略,最核心的问题其实还是数据修改时的数据一致性:先更新(删除)缓存再更新数据库、先更新数据库再更新(删除)缓存、延时双删等。

    以上所说的这些策略主要是考虑并发场景下db-redis之间的数据最终一致,如果业务场景没有多大的并发,或缓存的数据大多是配置之类不影响业务主流程的数据,其实以上策略基本也不会有问题。如果想做到数据强一致,那就只有一种方式就是串行,但是串行必然导致性能的降低,所以是要性能还是要数据强一致就需要根据实际业务来权衡了(CAP原理的体现)。

  • canal同步缓存策略

    下面要说的是另外一种缓存同步策略,使用canal同步mysql数据库到redis。

  • 什么是canal?

    canal是阿里推出的,官方地址:https://github.com/alibaba/canal。

在这里插入图片描述

  • canal 工作原理

    • canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
    • MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
    • canal 解析 binary log 对象(原始为 byte 流)
  • 使用canal同步mysql到redis示例流程图:
    在这里插入图片描述

由上图可知,使用canal同步mysql到redis,也是一种异步更新缓存的方案,保证数据的最终一致。为什么要使用canal?主要考虑以下几个原因:1. 项目不是新开发,使用canal对业务的代码的侵入性小;2.基于mysql binlog监听的同步实时性较高,官方给出的说法是可以准实时。

  • canal server搭建
    canal server搭建主要包括以下几点:

    • 安装jdk,canal是由java开发,要运行canal需要安装有jdk,注意配置java环境变量

    • 修改mysql配置文件 /etc/my.cnf 并重启mysql:

      log-bin=mysql-bin     #binlog文件名
      binlog_format=row     #选择row模式
      server_id=1           #mysql实例id,不能和canal的slaveId重复
      
    • 在mysql中创建canal使用的账号密码和权限(使用已有的账号密码也可以):

      CREATE USER canal IDENTIFIED BY 'canal';    
      GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
      FLUSH PRIVILEGES;
      
    • 安装canal server:

      • 下载, 项目git地址:https://github.com/alibaba/canal/releases

      • 解压

      • 配置项目, conf/example/instance.properties

        # position info
        canal.instance.master.address = 127.0.0.1:3306    # mysql连接
        		
        canal.instance.dbUsername = canal                 # mysql账号
        canal.instance.dbPassword = canal                 # 密码
        canal.instance.defaultDatabaseName = test	      # 需要同步的库名
        canal.instance.connectionCharset = UTF-8	      # mysql编码
        
      • 启动项目: sh bin/startup.sh (即执行bin目录下的startup.sh 脚本即可)

      • 查看日志:

        vim logs/canal/canal.log #canal server端运行日志

        vim logs/example/example.log #canal client端连接日志

        vim logs/example/meta.log #实例binlog 读取记录文件(记录变更位置,默认为新增变更)

  • 开发canal client

    • 官方demo地址:https://github.com/alibaba/canal/wiki/ClientExample

    • 引入 canal依赖:

       <dependency>
           <groupId>com.alibaba.otter</groupId>
           <artifactId>canal.client</artifactId>
           <version>1.1.5</version>
      </dependency>
      <dependency>
          <groupId>com.alibaba.otter</groupId>
          <artifactId>canal.protocol</artifactId>
          <version>1.1.5</version>
      </dependency>
      
    • 配置文件中配置:

      #canal服务配置
      canal-server:
        #canal服务地址
        host: 192.168.1.1
        #canal服务端口
        port: 11111
        #canal服务 desrination名称
        desrination: example
        #要监控的数据库名
        data-base: my_test
        #每批处理数量
        batch-size: 1000
      
    • canal服务启动类:
      说明:DTS是阿里云提供的服务,在同步缓存这方面来说,与canal实现的功能是一样的;为保证生产的稳定性,开发环境使用canal,生产环境使用DTS。(这里可以先忽略DTS,后续有时间再说DTS的使用)

      /**
       * 通过监听mysql binlog同步redis缓存:非生产环境使用阿里云DTS,非生产环境(开发、测试、预生产)使用自搭建canal服务
       */
      @Slf4j
      @Component
      public class MySQL2Redis {
             
             
      
          /**
           * canal服务配置<测试环境用canal>
           **/
          @Value("${canal-server.host}")
          private String canalServerHost;
      
          @Value("${canal-server.port}")
          private int canalServerPort;
      
          @Value("${canal-server.desrination}")
          private String canalServerDesrination;
      
          @Value("${canal-server.data-base}")
          private String dataBase;
      
          @Value("${canal-server.batch-size}")
          private int batchSizeInit;
      
          /**
           * 阿里DTS服务配置<生产环境用DTS>
           **/
          @Value("${dts.accessKey}")
          private String accessKey;
      
          @Value("${dts.accessSecret}")
          private String accessSecret;
      
          @Value("${dts.subscription_instance_id}")
          private String subscriptionInstanceId;
      
      
          @Autowired
          private SpringContextUtil springContextUtil;
      
          @Autowired
          private RedisUtil redisUtil;
      
          @Autowired
          private TableStrategyContext tableStrategyContext;
      
          @PostConstruct
          public void init() {
             
             
              log.info(" === start ===");
              String activeProfile = springContextUtil.getActiveProfile();
              boolean proEvn = ActiveEvnEnums.isProEvn(activeProfile);
              
### 回答1: 要将MySQL数据同步Redis,您可以使用一个名为“Canal”的工具。Canal是阿里巴巴开源的一款数据变更捕获和同步工具,可以监控MySQL数据库中的数据变化,并将其同步Redis或其他数据存储中。 以下是将MySQL数据同步Redis的一般步骤: 1. 安装和配置Canal,可以参考Canal官方文档。 2. 配置Canal实例,包括MySQLRedis的连接信息、数据过滤规则等。 3. 启动Canal实例,开始监控MySQL数据库的数据变化。 4. 编写处理Canal数据的程序,将数据从Canal获取并同步Redis。 5. 运行处理程序,开始将MySQL数据同步Redis。 需要注意的是,在将MySQL数据同步Redis时,需要考虑数据格式的转换、数据冲突处理等问题,以确保数据的正确性和一致性。 ### 回答2: 在现代的web应用中,通常会使用关系型数据库MySQL来存储数据,而使用Redis来作为缓存数据库,加快应用的响应速度。同时,为了保证数据一致性,需要将MySQL中的数据同步Redis中。这里就介绍下如何使用Canal来实现MySQLRedis的数据同步Canal是阿里巴巴开源的一款基于Java开发的数据库同步工具,可以实时监控MySQL数据库的变化,并将变化同步到指定的目的地,如Redis等。以下是步骤: 1、下载Canal 可以从Canal的github仓库中找到最新的release版本,下载解压后,即可使用。同时,需要准备一个MySQL服务器和一个Redis服务器。 2、配置CanalCanal的安装目录中,可以找到一个conf文件夹,其中存放着各种配置文件。在这里,我们需要修改instance.properties文件,其中涉及到的参数包括: - canal.instance.master.address:MySQL服务器的地址。 - canal.instance.master.journal.name:MySQL服务器的binlog名称。 - canal.instance.master.position:上次同步MySQL的位置。 - canal.instance.rdb.url:Redis服务器的地址。 - canal.instance.rdb.password:Redis服务器的密码。 3、启动Canal 在安装目录中的bin文件夹中,可以找到canal.sh/canal.bat等启动脚本文件,启动Canal服务。 4、创建同步任务 在Canal的管理界面中,可以创建同步任务,并指定目标同步位置、过滤规则等参数。 5、同步MySQL数据到Redis 启动Canal服务后,即可实时监控MySQL的变化,并将数据同步Redis中。可以在Redis中通过命令行或者客户端工具查看已同步的数据。 以上是使用Canal同步MySQL数据到Redis的基本步骤,需要注意的是,Canal的数据同步可以控制灵活,支持多种过滤规则,可以根据具体需求进行设置。同时,受限于Redis的并发处理能力,当数据量较大时,需要注意Redis设置参数的调整,以充分利用其性能优势。 ### 回答3: Canal是一款用于MySQL数据库日志增量订阅&消费的工具,可以将MySQL数据库的变更事件以Kafka消息队列的形式发布出来,并提供了多种客户端的消费途径。Redis则是一款高性能的非关系型数据库,通常被用作缓存和存储数据结构。 将MySQL数据同步Redis,是一项非常实用的任务。通过使用Canal,我们可以订阅MySQL数据库的变化,并将数据以Kafka消息的形式呈现出来。接着,可以通过编写定制化的程序,按需消费Kafka消息,并将消息中的数据存储到Redis中。 以下是同步MySQL数据到Redis的基本步骤: 1. 启动Canal和Kafka。首先,需要安装Canal和Kafka,并启动两者。启动Canal后,需要创建一个Canal实例来订阅MySQL数据库的变更事件。在这里,我们可以指定订阅特定的数据库、表和事件类型,以便更好地控制数据流。 2. 编写消费者程序。在Canal和Kafka都已启动的情况下,我们需要编写一个Kafka消费者程序,用于消费Canal发送的消息。在消费者程序中,我们可以通过解析Kafka消息体来获取变化的数据,然后将其转换为Redis中的数据格式,并存储到Redis中。 3. 数据格式转换。根据不同的业务需求,我们需要将MySQL中的数据转换成Redis支持的数据格式。例如,在存储关系型数据时,我们可以使用Hash来存储key-value键值对;在存储非关系型数据时,我们可以使用Sorted Set等数据结构。 4. 容错与性能优化。在实际应用场景中,我们还需要考虑各种异常情况的处理。例如,当Redis出现宕机或网络中断等故障时,需要自动进行重试或者将数据存储到其他存储介质中。此外,还需要对程序进行性能优化,以便提高系统的吞吐量和性能表现。 总的来说,通过Canal同步MySQL数据到Redis具有很大的实用价值,可以极大地提高系统的实时性和响应性。但是,该过程涉及比较复杂的流程和技术,需要综合考虑多种因素,才能实现高效可靠的数据同步
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值