canal的安装和使用

1.前言

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

阿里巴巴将此项目开源了 点击前往

简介

2.配置及安装

1. 先配置mysql master

[root@VM-0-15-centos ~]# whereis my.cnf
my: /etc/my.cnf
[root@VM-0-15-centos ~]# vi  /etc/my.cnf
...

[canal]
log-bin=mysql-bin #添加这一行就ok ,开启binlog
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

先找到mysql的配置文件my.cnf,然后在最后追加三个配置
这里稍微提一下binlog-format

属性	值
命令行格式	–binlog-format=format
系统变量	binlog_format
范围	全局，会话
动态	是
类型	列举
默认值	（> = 5.7.7）ROW
默认值	（<= 5.7.6） STATEMENT
有效值	ROW、STATEMENT、MIXED

具体这三种模式，或者说是两种模式（MIXED混合模式自动选择ROW和STATEMENT的一种），有什么不一样，由于篇幅有限，大家可自行进一步去了解；

授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

2. canal的安装和配置

我采用的是docker的方式安装的，具体可查看canal的docker的quickStart

#1.查看
[root@VM-0-15-centos ~]# docker ps -a
CONTAINER ID        IMAGE                 COMMAND                  CREATED             STATUS                   PORTS               NAMES
4a6fdf4fb9dc        canal/canal-server    "/alidata/bin/main.s…"   2 weeks ago         Exited (0) 2 weeks ago                       canal-server
5097adb7789d        mysql:5.7             "docker-entrypoint.s…"   2 weeks ago         Created                                      mysql

#2.进入容器修改canal配置文件
[root@VM-0-15-centos ~]# docker exec -it 4a6  bash
[root@172 admin]# cd canal-server/conf
[root@172 conf]# ll
total 36
-rwxrwxrwx 1 admin admin  291 Aug 31  2019 canal_local.properties
-rwxrwxrwx 1 admin admin 5801 Aug 21 18:09 canal.properties
-rwxrwxrwx 1 admin admin 3437 Feb 28  2020 logback.xml
drwxrwxrwx 1 admin admin 4096 Aug 22 13:42 metrics
drwxrwxrwx 1 admin admin 4096 Aug 22 13:42 spring
drwxrwxrwx 2 admin admin 4096 Nov 13 21:59 test

#配置文件为canal.properties

#3.启动容器
[root@VM-0-15-centos ~]# docker start 4a6fdf4fb9dc
4a6fdf4fb9dc

canal server已经启动，然后启动canal client去连接

### java客户端连接demo

构建一个springboot项目并添加canal 的pom依赖如下

        <!--canal-->
        <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.1.0</version>
        </dependency>

测试的代码如下：

package com.example.canal;

import java.net.InetSocketAddress;
import java.util.List;


import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;


public class SimpleCanalClientExample {
    public static void main(String args[]) {
        // 创建链接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("your host",11111), "example", "", "");
        int batchSize = 1000;
        int emptyCount = 0;
        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();
            int totalEmptyCount = 120;
            while (emptyCount < totalEmptyCount) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    emptyCount++;
                    System.out.println("empty count : " + emptyCount);
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                    }
                } else {
                    emptyCount = 0;
                    // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                    printEntry(message.getEntries());
                }
                connector.ack(batchId); // 提交确认
                // connector.rollback(batchId); // 处理失败, 回滚数据
            }
            System.out.println("empty too many times, exit");
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                continue;
            }

            RowChange rowChage = null;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));

            for (RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------&gt; before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------&gt; after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }

}

特别强调一下：

• 使用docker 需要将端口映射出来

CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(
																			"your host",   //主机host
																			11111		   //默认端口
																), 	
															   "example",  destination
															    "",     //username    暂不支持使用密码
															    "");    //password    暂不支持使用密码

提供了枚举值 enum EventType

    public static enum EventType implements ProtocolMessageEnum {
        INSERT(0, 1),
        UPDATE(1, 2),
        DELETE(2, 3),
        CREATE(3, 4),
        ALTER(4, 5),
        ERASE(5, 6),
        QUERY(6, 7),             //暂时不太清楚为什么这里包括了查询操作，这个query操作对应哪种查询
        TRUNCATE(7, 8),
        RENAME(8, 9),
        CINDEX(9, 10),
        DINDEX(10, 11),
        GTID(11, 12),
        XACOMMIT(12, 13),
        XAROLLBACK(13, 14),
        MHEARTBEAT(14, 15);
        ...
    }

可见支持的事件是非常多的，数据库中的DDL DML等多种操作都各自对应一个事件，可以单独对每个事件进行解析，后续可以配合消息中间件MQ去完成多样化的需求！！！

测试时 将user_id=3的记录的name从12改为123后，发现测试demo的console输出了一大堆

================> binlog[binlog.000006:4573] , name[ovoo,user] , eventType : UPDATE
-------> before
user_id : 3    update=false
name : 12    update=false                       <-------------------------------------
slug :     update=false
username :     update=false
email : 1615351475@qq.com    update=false
password : 87ba355438dcd755aa216a11b69a7b06    update=false
gender : 1    update=false
role : subscriber    update=false
token :     update=false
theme : default    update=false
theme_color : #16163F    update=false
join_date : 2020-09-20 12:18:10    update=false
last_login : 2020-09-20 12:18:10    update=false
deactivate_reason :     update=false
phone :     update=false
dob : 0000-00-00    update=false
firebase_auth_uid :     update=false
status : 1    update=false




-------&gt; after
user_id : 3    update=false
name : 123    update=true                                <-------------------------------------
slug :     update=false
username :     update=false
email : 1615351475@qq.com    update=false
password : 87ba355438dcd755aa216a11b69a7b06    update=false
gender : 1    update=false
role : subscriber    update=false
token :     update=false
theme : default    update=false
theme_color : #16163F    update=false
join_date : 2020-09-20 12:18:10    update=false
last_login : 2020-09-20 12:18:10    update=false
deactivate_reason :     update=false
phone :     update=false
dob : 0000-00-00    update=false
firebase_auth_uid :     update=false
status : 1    update=false

3.总结

当前是单机版的demo测试，还支持集群环境；
canal基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，配合消息中间件可实现各类异构系统之间数据的同步，功能真的十分强大！

最后，如果看完对你有所帮助，不要吝啬关注 / 点赞 / 收藏哟，感谢感谢~