java通过canal同步mysql变动数据到redis

最新推荐文章于 2024-07-27 09:32:23 发布
原创 最新推荐文章于 2024-07-27 09:32:23 发布 · 1.6k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议，具体可以直接去看官方文档：https://github.com/alibaba/canal ，此处使用tcp协议同步数据到redis

此处使用1.1.4的版本，通过WebUI能力来配置canal

一、需要先安装好java环境与mysql

1，java安装：https://blog.youkuaiyun.com/u012946310/article/details/81979595
2，mysql安装：https://blog.youkuaiyun.com/u012946310/article/details/81880050

mysql安装完成后，编辑 /etc/my.cnf，在[mysqld]配置下新增信息

#开启binlog
log-bin=mysql-bin
binlog-format=ROW #选择row模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

在这里插入图片描述
保存重启mysql

service mysqld restart

二、下载canal服务端与canal-admin管理端

1，canal 服务端下载地址：https://github.com/alibaba/canal/releases/tag/canal-1.1.4
在这里插入图片描述

2，canal-admin下载：wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz
官方文档demo：https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart

三、配置canal-admin管理端

1，解压缩

mkdir canal-admin-1.1.4
tar -zxvf canal.admin-1.1.4.tar.gz -C canal-admin-1.1.4/

解压完成后，进入 canal-admin-1.1.4 目录，可以看到如下结构
在这里插入图片描述
2，移动 canal-admin-1.1.4 目录到 /usr/local 目录下

mv canal-admin-1.1.4 /usr/local/
cd /usr/local/canal-admin-1.1.4/

3，修改配置，根据自己配置修改

vi conf/application.yml

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 127.0.0.1:3306
  database: canal_manager
  username: canal
  password: canal
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${
   
   spring.datasource.address}/${
   
   spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin

注意：如果mysql使用的是 8.0.x 或者以上的版本需要将 driver-class-name 配置驱动更换为：com.mysql.cj.jdbc.Driver，然后将8.0以上版本的驱动 jar 包上传到 lib 目录下

在这里插入图片描述

在这里插入图片描述

4，初始化元数据库

mysql -uroot -p123456
#导入sql
source conf/canal_manager.sql

脚本执行成功后，可以看到我们数据库已经创建好canal_manager数据库了
在这里插入图片描述

初始化SQL脚本里会默认创建canal_manager的数据库，建议使用root等有超级权限的账号进行初始化 b. canal_manager.sql默认会在conf目录下

5，启动

sh bin/startup.sh

查看 admin 日志

cat logs/admin.log

在这里插入图片描述
此时代表canal-admin已经启动成功，可以通过 http://127.0.0.1:8089/ 访问，默认密码：admin/123456
在这里插入图片描述
6，关闭

sh bin/stop.sh

四、配置canal-server

1，解压缩

mkdir canal-server-1.1.4
tar -zxvf canal.deployer-1.1.4.tar.gz -C canal-server-1.1.4/

2，移动 canal-admin-1.1.4 目录到 /usr/local 目录下

mv canal-server-1.1.4 /usr/local/
cd /usr/local/canal-server-1.1.4/

3，编辑 conf/canal_local.properties

vim conf/canal_local.properties

# register ip
canal.register.ip =

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =

根据自己需求更改，本机都是安装在一台机器上的，就不做修改了

4，启动

sh bin/startup.sh local

启动完成后，就能在 canal-admin 看到canal-server服务已经注册进来了
在这里插入图片描述
5，选择instance管理，新建一个当前 canal 运行服务的实例，点击选择载入模板，instance名称我这里输入和数据库名称一致springboot_canal_demo

各配置说明参考文档：https://github.com/alibaba/canal/wiki/AdminGuide
在这里插入图片描述
canal.instance.filter.regex 过滤规则：
/**
* 过滤规则：
* mysql 数据解析关注的表，Perl正则表达式.
* 多个正则之间以逗号(,)分隔，转义符需要双斜杠(\)
* 常见例子：
* 1. 所有表：.* or .\…
* 2. canal schema下所有表： canal\…*
* 3. canal下的以canal打头的表：canal\.canal.*
* 4. canal schema下的一张表：canal.test1
* 5. 多个规则组合使用：canal\…*,mysql.test1,mysql.test2 (逗号分隔)
* 注意：此过滤条件只针对row模式的数据有效(ps. mixed/statement因为不解析sql，所以无法准确提取tableName进行过滤)
*/

配置完成保存，然后启动当前实例就ok了

5、配置通过 java 将数据库变动数据同步到redis

1，安装 docker（此处只讲步骤，docker不了解的可以自行百度）

yum -y install docker

2，启动docker

service docker start

3，拉取redis镜像

docker pull redis

4，启动redis容器

docker run --name redis -p 6379:6379 -v /etc/localtime:/etc/localtime -d redis --requirepass "123456"

启动完成后可以通过 docker ps 命令查看正在运行的 docker 容器
在这里插入图片描述
接下来就可以通过 redis desktop manager 可视化工具连接到redis了，配置的连接密码为123456

5，新建springboot项目，集成 canal 客户端，同步数据库变动到redis
官方文档例子：https://github.com/alibaba/canal/wiki/ClientExample
本项目git demo：https://gitee.com/hwm0717/springboot_canal_demo

项目执行后，可以发现，每次数据库的更改，都会将数据库的变动数据同步到redis里面
在这里插入图片描述
6，项目结构
在这里插入图片描述
数据库sql

CREATE TABLE `user` (
  `user_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',
  `nickname` varchar(126) DEFAULT NULL COMMENT '昵称',
  `name` varchar(50) DEFAULT NULL COMMENT
最低0.47元/天 解锁文章
Canal同步延迟和数据丢失优化方案
有方法，有案例，有结果
03-23 1576
Canal是通过解析MySQL的binlog来获取数据变更事件的，然后将这些变更事件发送到下游，比如Redis。在同步的过程中需要解决实时性和一致性的问题。首先，实时性方面，可能涉及到Canal本身的处理速度，比如是否及时解析binlog，以及下游处理的速度，比如Redis写入是否够快。此外，网络延迟也是一个因素。一致性方面，可能需要确保数据变更的顺序正确，以及事务的原子性，比如一个事务内的多个操作是否被正确处理。
Java对接OpenLdap实现数据单向同步到MySql
weixin_46167139的博客
08-12 1197
Java对接OpenLdap实现数据单向同步到MySql 把配置信息写成配置项，优化代码： 最近公司项目需求有对接OpenLdap并连接MySql进行数据单向同步功能，公司里也是第一次对接，把任务交给了我，让我自行学习，并实现此功能。 在网上查阅许久，发现百分之80的博客皆是8年甚至更久远的文章，帮助并不大，Java对接OpenLdap实现数据单向同步到MySql的更是没有，所以我为了方便以后自己查阅，增强记忆，将代码以及方法贴出来。也希望能对大家有所帮助。 package com.tiduyun.cmp.
JAVA通过Gearman实现MySQL到Redis的数据同步（异步复制）
afea39660的博客
12-11 150
MySQL到Redis数据复制方案 无论MySQL还是Redis，自身都带有数据同步的机制，像比较常用的MySQL的Master/Slave模式，就是由Slave端分析Master的binlog来实现的，这样的数据复制其实还是一个异步过程，只不过当服务器都在同一内网时，异步的延迟几乎可以忽略。 那么理论上我们也可以用同样方式，分析MySQL的binlog文件并将数据插入R...
MySQL 与 Redis 缓存的同步方案
qiang327839549的博客
04-06 2000
MySQL 和 Redis 都是常见的数据存储方案，MySQL 用于存储结构化数据，Redis 用于存储非结构化数据。在一些高并发场景下，为了提升系统的性能，我们通常会将数据存储在 Redis 缓存中，并通过 Redis 缓存来提高系统的读取速度。但是，Redis 缓存中的数据是不稳定的，可能会随时被删除或者被更新，因此需要和 MySQL 中的数据进行同步，保证数据的一致性。本文将介绍如何通过 Java 代码实现 MySQL 和 Redis 缓存的同步方案。缓存同步方案方案一：基于消息队列的同步方案。
Java开发 - Canal进阶之和Redis的数据同步
CodingFire的博客
07-04 4606
本篇是对单节点的应用，但从中我们也能推断出一些关于集群的应用，不过大多数公司能搞个主从就已经是不错了，所以你能学会这个已经算是很有用了，关于ES，博主前面也讲过一些基础应用，创建一个工具类利用ES的数据模型进行存储就可以达到一个canal同时对Redis和ES的同步，如果担心出问题，可以把Canal搞成集群的形式，这个后续有时间博主再给大家做讲解。今天就到这里了，觉得不错就支持一下吧。
linux mysql服务自动关闭_Linux服务器开发架构师进阶之路：MySQL与redis缓存的同步方案...
weixin_40005542的博客
11-23 236
上文：c/c++，go语言Linux服务器开发高级架构师进阶之路之前给大家分享了一篇架构师进阶之路的文章以及视频分享，今天给大家分享的文章即Linux服务器开发架构师知识点解析，希望可以帮助到大家。另大家有需要c/c++ ，go Linux服务器开发高级架构师学习视频资料的可以后台私信【架构】获取本文介绍MySQL与Redis缓存的同步的两种方案方案1：通过MySQL自动同步刷新Redis，MyS...
Mysql和Redis同时操作数据
m0_51392342的博客
02-14 765
处理数据，对数据库表的数据存储并对redis进行存储更新 package com.jt.service.impl; import com.jt.dao.MenuMapper; import com.jt.pojo.Menu; import com.jt.service.MenuService; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core
Canal监听Mysql回写Redis
伏颜的博客
07-27 656
Canal监听Mysql回写Redis-案例 尚硅谷学习积累--阳哥
精选资源
canal + mysql + rabbitmq步骤（CanalListener）
08-12
本教程将详细介绍如何配置Canal监听MySQL的binlog，以及如何通过RabbitMQ实现数据同步。 1. **MySQL Binlog介绍** MySQL的Binary Log（binlog）是一种记录所有对数据库进行更改操作的二进制日志，用于数据恢复、...
canal实现mysql redis数据同步
最新发布
03-08
### 如何使用Canal实现MySQL到Redis的数据同步 #### 1. Canal简介 Canal 是阿里巴巴开源的一款用于捕获 MySQL 实例增量日志变化的产品。通过解析 binlog 日志，Canal 能够实时获取数据库中的数据变更事件，并将其...
Mysql和Redis数据同步该怎么做？含答案解析
m0_57081438的博客
06-25 171
前言 关于技术人如何成长的问题，一直以来都备受关注，因为程序员职业发展很快，即使是相同起点的人，经过几年的工作或学习，会迅速拉开极大的差距，所以技术人保持学习，提升自己，才能够扛得住不断上赶的后浪，也不至于被“拍死”在沙滩上。 近日，经过一朋友的透露，Alibaba也首发了一份限量的“Java成长笔记”，里面记载的知识点非常齐全，看完之后才知道，差距真的不止一点点！ Java成长笔记主要是将Java程序员按照年限来进行分层，清晰的标注着Java程序员应该按照怎样的路线来提升自己，需要去学习哪些技术点。 下
canal+spring的集成
04-25
canal+spring的集成和封装，灵活使用,整合内容包含服务方，消费方 canal消费方采用策略模式，将不同表的数据分配到相应的Process类中。定义BaseProcess抽象类，包含processInsert、processUpdate、processDelete三个抽象方法，分别用于处理三种类型的数据操作。
redis 与 数据库（Mysql）同步
热门推荐
小小的博客
11-22 2万+
最近接触 redis，发现其读取速度快，突然想到，redis 怎么和数据库同步呢，怎么能把数据库的所有数据存到redis里面，能使用户更快速的查找。方法1：mysql 同步到redis：解析mysql的binlog，然后做同步处理，可以使用的库有：open-replicator（https://github.com/whitesock/open-replicator）方法2：同步redis数据到my
java mysql数据同步_[java代码实现数据库同步]java实现同步的方法
weixin_39612220的博客
02-02 382
packagethreadTest;publicclassSyncThreadTest{publicstaticvoidmain(Stringargs[]){finalBankbank=newBank();Threadtadd=newThread(newRunnable(){@Overridepublicvoidrun(){//TODOAuto-generatedmethodstubwhile(t...
Java操作Redis数据库
Student111w的博客
04-04 299
对redis数据库 数据各类型的操作 不了解Redis数据库的大家可以参考前两节 Redis基础 点击此处 Redis基本操作 点击此处 此文章是对上节操作的补充和细化 我写了详细的注释 大家可以参考的看一下 导入依赖 <!-- redis依赖 --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId>
java同步mysql数据
荆州长江大学 余攀(Java学生)
12-23 3529
java同步mysql数据同步表数据和修改java程序的过程，将这些记录下来： 业务说明 解决方案 表信息 同步程序 遇到的问题 业务说明 由于业务变更，系统内涉及到使用aid的程序都要求替换为bid，一共涉及多张表的数据需要清洗，下面以其中一张表rule来讲述。 解决方案1.创建相同表结构rules 2.同步表rule到表rules 3.将应用程序中使用表rule替换为表rules表信息r
代码实现mysql数据库连接_java代码实现连接mysql数据库
weixin_35132022的博客
02-05 173
注意修改下面数据库的名称、登陆的账号密码。我用的数据库名是：test账号密码都是：root=================================import java.sql.*;public class JDBCTest {public static void main(String[] args) {// 1. 注册驱动try {Class.forName("com.mysql.j...
用程序同步mysql数据库表_初次用Java写了个数据库表同步工具
weixin_36293258的博客
01-21 713
介绍java 程序编写，真正跨平台。传入一定的参数，即可在相同或不同的数据库间进行表的同步，包括表结构的同步及数据的同步。作业由调度工具进行调度，比如 moia，本项目旨在提供一种数据库间表同步的通用工具。目前项目 demo 已经可以使用 ，欢迎感兴趣的朋友一起加入。程序的使用数据库的信息写在配置文件中，计划支持各种主流关系型数据库，如 MysqL、Db2、Oracle、PostgreSQL。程序...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值