Canal快速入门

课程来源：Canal极简入门：一小时让你快速上手Canal数据同步神技~_哔哩哔哩_bilibili

本文是对该课程的总结

---

实现场景

缓存和实时监控

数据分析和挖掘

---

数据的集成

数据库迁移

---

MYSQL准备

Docker创建Mysql

我们默认是开启我们的binlog日志的

我们进入容器内部，看看我们的binlog日志是否真的开启了

#进入容器：env LANG=C.UTF-8 避免容器中显示中文乱码

docker exec -it mysql-kira-master env LANG=C.UTF-8 /bin/bash

#进入容器内的mysql命令行

mysql -u root -p

然后我们查看binlog日志是否开启

show variables like 'bin_log'

如果是on，那么就是开启了

---

canal的安装和配置

安装

https://github.com/alibaba/canal/releases

我们下载deployer

解压完后我们的目录是这样的

canal配置

我们进入conf目录的canal.properties

我们主要看着三个参数

端口

服务模式

收集XX数据库

canal.port：默认端口 11111

canal.serverMode：服务模式，tcp 表示输入客户端，xxMQ输出到各类消息中间件

canal.destinations：canal能可以收集多个MySQL数据库数据，每个MySQL数据库都有独立的配置文件控制。具体配置规则： conf/目录下，使用文件夹放置，文件夹名代表一个MySQL实例。canal.destinations用于配置需要监控数据的数据库。如果是多个，使用,隔开

例如我们这个目录的example，就是我们监控的一个数据库

---

mysql配置

我们点进example文件夹

然后点开我们的instance.properties

我们主要看着4个参数

canal.instance.mysql.slaveId：使用canal 从阶段id，我们的canal是伪装成从库的，所以有一个slaveId

canal.instance.master.address：数据库ip端口（我们要监听的数据库的端口）

canal.instance.dbUsername：连接mysql账号

canal.instance.dbPassword：连接mysql密码

我们在bin目录中点击startup.bat来启动我们的项目

---

canal基本案例

引入依赖

  <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.1.0</version>
        </dependency>

canal案例demo

package com.langfeiyes.hello;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;

import java.net.InetSocketAddress;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class CanalDemo {

    public static void main(String[] args) throws InvalidProtocolBufferException {
        //1.获取 canal 连接对象
        CanalConnector canalConnector = CanalConnectors.
                newSingleConnector(new InetSocketAddress("localhost", 11111), "example", "", "");
        while (true) {
            //2.获取连接
            canalConnector.connect();
            //3.指定要监控的数据库
            canalConnector.subscribe("canal-demo.*");
            //4.获取 Message
            Message message = canalConnector.get(100);
            //一条SQL 对应一个Entry
            List<CanalEntry.Entry> entries = message.getEntries();
            if (entries.size() <= 0) {
                System.out.println("没有数据，休息一会");
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            } else {
                for (CanalEntry.Entry entry : entries) {
                    //entry --> Update SQL --->改动2条数据
                    // 获取表名
                    String tableName = entry.getHeader().getTableName();
                    //  Entry 类型
                    CanalEntry.EntryType entryType = entry.getEntryType();
                    //  判断 entryType 是否为 ROWDATA
                    if (CanalEntry.EntryType.ROWDATA.equals(entryType)) {
                        //  序列化数据
                        ByteString storeValue = entry.getStoreValue();
                        //  反序列化
                        CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);
                        // 获取事件类型
                        CanalEntry.EventType eventType = rowChange.getEventType();
                        // 获取具体的数据
                        List<CanalEntry.RowData> rowDatasList = rowChange.getRowDatasList();
                        // 遍历并打印数据
                        for (CanalEntry.RowData rowData : rowDatasList) {
                            List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
                            Map<String, Object> bMap = new HashMap<>();
                            for (CanalEntry.Column column : beforeColumnsList) {
                                bMap.put(column.getName(), column.getValue());
                            }
                            Map<String, Object> afMap = new HashMap<>();
                            List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
                            for (CanalEntry.Column column : afterColumnsList) {
                                afMap.put(column.getName(), column.getValue());
                            }
                            System.out.println("表名:" + tableName + ",操作类型:" + eventType);
                            System.out.println("改前:" + bMap );
                            System.out.println("改后:" + afMap );
                        }
                    }
                }
            }
        }
    }
}

我们主要是通过canalConnector来进行操作的

获取连接 canalConnector.connect()

指定要监控的数据库 canalConnectorsubscribe()

获取Message canalConnector.get()

获取Entry，一条SQL对应一个Entry canalConnector.getEntries()

---

canal结合SpringBoot

引入这4个依赖

      <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <!-- https://mvnrepository.com/artifact/top.javatool/canal-spring-boot-starter -->
        <dependency>
            <groupId>top.javatool</groupId>
            <artifactId>canal-spring-boot-starter</artifactId>
            <version>1.2.1-RELEASE</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.12</version>
        </dependency>
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>3.21.4</version>
        </dependency>

我们在配置文件中配置canal的端口

这是基本监听

我们用@CanalTable注解来监听对应的表，然后连接EntryHandler<XXX>来重写我们的方法

当我们监听到数据变化的时候我们要做什么操作