h_big_tiger的博客

Canal同步mysql数据至ES1、更改Mysql配置1.1 开启 Binlog 写入功能配置 binlog-format 为 ROW 模式，配置my.cnf[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 cana...

Canal前段时间做完kafka基础功能后，公司又增加了一个新需求，利用kafka和canal完成数据库的实时增量。于是开始对canal的调研之路。希望看到的人可以给我一些指导，共同进步。1、背景早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进...

Canal入门（二）canal kafka quickStart这两天看了一下canal的github文档，有了一些笔记，在这里记录一下：https://github.com/alibaba/canal1、基本说明canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:kafka，RocketMQ2、环境版...

Canal入门（三）Canal的配置介绍配置之前先了解下Canal配置的加载方式：canal配置方式有两种：ManagerCanalInstanceGenerator：基于manager管理的配置方式，目前alibaba内部配置使用这种方式。可以通过实现CanalConfigClient，连接各自的管理系统，即可完成接入。SpringCanalInstanceGenerator：基于本...

客户端代码分析首先我是从官方实例example项目开始。项目结构其中，assembly文件夹中都是一些xml配置，我们将其忽略就可以了。bin目录里面是一些可执行文件，如果我们将变量配置好，是可以直接通过可执行文件来执行，实现自己的功能。conf文件夹里是日志的配置文件，忽略过去就好，毕竟重点在代码那块。resource文件夹里就是一些配置了，就是通过更改这些配置文件来使可执行文件有...

我们公司的业务流程是通过canal模拟MySQL slave的交互协议，获取MySQL的binary log，从而解析MySQL的日志。将解析后的数据通过kafka发送至其他系统从而达到数据同步的目的。所以canal与kafka的集成也就是我的下一步工作。老规矩，先看官方给的example。canal与kafka的安装集成配置请看另一个文章：https://blog.youkuaiyun.com/h_bi...