redis+cannal+mysql共_使用canal进行mysql数据同步到Redis

1. 可行方案

回归正题：我们的标题为《使用canal进行MySQL数据同步到Redis》，那就先来说说我们的目的：mysql数据同步到Redis，想达到读写分离，Redis只做缓存，MySQL做持久化。刚开始想这样干的时候就去网上收集资料，发现了N多做法：

先从Redis读取数据，如果没有查询到；便从mysql查询数据，将查询到的内容放到Redis中。对于写操作，先对mysql进行写，写成功对Redis进行写。当然这是一种相对直观而且简单的方法，但是看起来有许多操作需要我们自己去做。

使用mysql的udf去做，大体的思想是通过数据库中的Trigger调用自定义的函数库来触发对Redis的相应操作，比较麻烦的一点是：自定义的函数库需要我们基于mysql的API进行开发(C++),想想自己的Java程序要去调用这么一堆玩意，本人很不情愿。据了解，该方法也是阿里早起的解决方案，具体的步骤可参照：《【菜鸟玩Linux开发】通过MySQL自动同步刷新Redis》

通过Gearman去同步，但是通过了解发现，它一般使用在PHP的开发中。

接下来的两种方案都属于对mysql中的binlog进行解析的方法了。

使用canal进行同步，当然是能够解放双手的工具。

通过大量的资料收集和调查，我使用了canal进行了mysql数据同步到Redis。先简单谈谈canal：

canal主要是基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，核心基本就是模拟mysql中slave节点请求。具体的原理在这里不进行介绍，可以移步《阿里巴巴开源项目: canal 基于mysql数据库binlog的增量订阅&消费》 进行学习。

2. mysql的配置

开启mysql的binlog模块

切换到mysql的安装路径，找到my.cnf(Linux)/my.ini (windows)，加入如下内容：

配置完成后，需要重启数据库。当重启数据库遇到问题时，耐心解决，但需要警告的是，千万别动data文件夹下的文件。当然如果你觉得你比较有“资本”，同时遇到了“mysql 1067 无法启动”的错误，你可以试着备份一下data文件夹下的内容，删除logfile文件，重启数据库即可，但本人极不推荐这样进行操作。就是由于本人之前的无知，根据一个无良博客，误删了ibdata1文件，使得本人造成了很大的损失，mysql下的所有数据库瞬间毁灭。

配置mysql数据库

创建canal用户，用来管理canal的访问权限。我们可以通过对canal用户访问权限的控制，进而控制canal能够获取的内容。

3. canal配置与部署

下载部署包

下载，解压，我使用的是最新版本1.0.22

配置canal

主要配置的文件有两处，canal/conf/example/instance.properties 和 canal/conf/canal.properties . 而canal.properties 文件我们一般保持默认配置，所以我们仅对instance.properties 进行修改。如果需要对canal进行复杂的配置，可以参考《Canal AdminGuide》。

启动canal

./canal/startup.sh

查看启动状态

我们可以通过查看logs/canal/canal.log 和logs/example/example.log日志来判断canal是否启动成功。

canal/logs/canal/canal.log

canal/logs/example/example.log

4. Java连接canal执行同步操作

在maven项目中中加载canal和redis依赖包.

建立canal客户端，从canal中获取数据，并将数据更新至Redis.

至此，我们利用canal进行了mysql数据同步到Redis的任务，可以根据不同的需求将代码进行修改置于需要的位置。

参考：

z转载：http://blog.youkuaiyun.com/tb3039450/article/details/53928351

本文转自yunlielai51CTO博客，原文链接：http://blog.51cto.com/4925054/1910483，如需转载请自行联系原作者