「从零单排canal 01」 canal 10分钟入门（基于1.1.4版本）

阿丸笔记

于 2020-06-04 21:15:02 发布

阅读量898

点赞数 1

CC 4.0 BY-SA版权

分类专栏：数据订阅与同步文章标签：数据库队列分布式数据同步数据订阅

本文链接：https://blog.youkuaiyun.com/u014730658/article/details/106558164

1.简介

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。应该是阿里云DTS（Data Transfer Service）的开源版本。

2.提供的能力

Canal与DTS提供的功能基本相似：

1）基于Mysql的Slave协议实时dump binlog流，解析为事件发送给订阅方。
事件格式为(伪代码):

Eevnt {
   
   

    Header {
   
   
        logfileName     [binlog文件名]

        logfileOffset   [binlog position]

        executeTime     [binlog里记录变更发生的时间戳]

        schemaName      [数据库实例]

        tableName       [表名]

        eventType       [insert/update/delete类型]
    }

    entryType           [事务头BEGIN/事务尾END/数据ROWDATA]

    storeValue          [byte数据,可展开，对应的类型为RowChange]

    isDdl               [是否是ddl变更操作，比如create table/drop table]

    sql                 [具体的ddl sql]

    rowDatas            [具体insert/update/delete的变更数据，可为多条，1个binlog event事件可对应多条变更，比如批处理]

    beforeColumns