canal使用配置详解

本文详细介绍Canal的部署步骤及配置方法,包括MySQL binlog设置、用户权限配置、Canal下载与安装流程、参数调整等内容,帮助读者快速掌握Canal的使用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

 

a.  canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,并且配置binlog模式为row. 

 

[mysqld]  
log-bin=mysql-bin #添加这一行就ok  
binlog-format=ROW #选择row模式  
server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复  
 

 

 

canal的原理是模拟自己为mysql slave,所以这里一定需要做为mysql slave的相关权限 

 

CREATE USER canal IDENTIFIED BY 'canal';    
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'  IDENTIFIED BY 'canal' WITH GRANT OPTION;
FLUSH PRIVILEGES; 
 

 

针对已有的账户可通过grants查询权限:

 

show grants for 'canal'
 

 

 

 

启动步骤:

 

1.  下载canal

 

下载部署包

 

    wget http://canal4mysql.googlecode.com/files/canal.deployer-1.0.0.tar.gz  

 

or 

 

自己编译 

 

    git clone git@github.com:otter-projects/canal.git  

    cd canal;   

    mvn clean install -Dmaven.test.skip -Denv=release  

 

    编译完成后,会在根目录下产生target/canal.deployer-$version.tar.gz 

 

 

2.  解压缩

 

    mkdir /tmp/canal  

    tar zxvf canal.deployer-1.0.0.tar.gz  -C /tmp/canal  

 

   解压完成后,进入/tmp/canal目录,可以看到如下结构:

 

    drwxr-xr-x 2 jianghang jianghang  136 2013-02-05 21:51 bin  

    drwxr-xr-x 4 jianghang jianghang  160 2013-02-05 21:51 conf  

    drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib  

    drwxr-xr-x 2 jianghang jianghang   48 2013-02-05 21:29 logs  

 

3.  配置修改

 

公用参数:   

 

    vi conf/canal.properties  

 

    #################################################  

    #########               common argument         #############   

    #################################################  

    canal.id= 1  

    canal.address=  

    canal.port= 11111  

    canal.zkServers=  

    # flush data to zk  

    canal.zookeeper.flush.period = 1000  

    ## memory store RingBuffer size, should be Math.pow(2,n)  

    canal.instance.memory.buffer.size = 32768  

      

    ## detecing config  

    canal.instance.detecting.enable = false  

    canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()  

    canal.instance.detecting.interval.time = 3   

    canal.instance.detecting.retry.threshold = 3   

    canal.instance.detecting.heartbeatHaEnable = false  

      

    # support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery  

    canal.instance.transactionn.size =  1024  

      

    # network config  

    canal.instance.network.receiveBufferSize = 16384  

    canal.instance.network.sendBufferSize = 16384  

    canal.instance.network.soTimeout = 30  

      

    #################################################  

    #########               destinations            #############   

    #################################################  

    canal.destinations= example  

      

    canal.instance.global.mode = spring   

    canal.instance.global.lazy = true  ##修改为false,代表立马启动  

    #canal.instance.global.manager.address = 127.0.0.1:1099  

    canal.instance.global.spring.xml = classpath:spring/memory-instance.xml  

    #canal.instance.global.spring.xml = classpath:spring/default-instance.xml  

 

 

应用参数:

 

    vi conf/example/instance.properties  

 

Instance.properties

 

    #################################################  

    ## mysql serverId  

    canal.instance.mysql.slaveId = 1234  

      

    # position info  

    canal.instance.master.address = 127.0.0.1:3306 #改成自己的数据库地址  

    canal.instance.master.journal.name =   

    canal.instance.master.position =   

    canal.instance.master.timestamp =   

      

    #canal.instance.standby.address =   

    #canal.instance.standby.journal.name =  

    #canal.instance.standby.position =   

    #canal.instance.standby.timestamp =   

      

    # username/password  

    canal.instance.dbUsername = retl  #改成自己的数据库信息  

    canal.instance.dbPassword = retl  #改成自己的数据库信息  

    canal.instance.defaultDatabaseName =   #改成自己的数据库信息  

    canal.instance.connectionCharsetNumber = 33  #改成自己的数据库信息  

    canal.instance.connectionCharset = UTF-8  #改成自己的数据库信息  

      

    # table regex  

    canal.instance.filter.regex = .*\\..*  

      

    ################################################# 

 

 

 说明:

 

    canal.instance.connectionCharset 代表数据库的编码方式对应到java中的编码类型,比如UTF-8,GBK , ISO-8859-1

    canal.instance.connectionCharsetNumber 代表数据库的编码方式对应mysql中的唯一id,详细的映射关系可查看:com.mysql.jdbc.CharsetMapping.INDEX_TO_CHARSET

    针对常见的编码:

    utf-8  <=>  33

    gb2312 <=> 24

    gbk <=> 28

 

4.   准备启动

 

    sh bin/startup.sh  

 

5.  查看日志

 

    vi logs/canal/canal.log  

 

    2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.  

    2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]  

    2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......  

 

    具体instance的日志:

 

    vi logs/example/example.log  

 

    2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]  

    2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]  

    2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example   

    2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....  

 

6.  关闭

 

    sh bin/stop.sh  

 

 

使用中出现以下错误:Could not find first log file name in binary log index file

 

 

2015-01-15 10:40:01.756 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file
        at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:95)
        at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:116)
        at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:209)
        at java.lang.Thread.run(Thread.java:662)
 

 

 

最终解决因为没有权限,使用root用户运行成功!

 

Canal是阿里巴巴开源的一个分布式数据库变更数据订阅与消费工具,主要用于实时同步MySQL数据库中的增量变化。它提供了丰富的配置选项来满足不同的应用场景。以下是一些主要的Canal配置项的概述: 1. **bootstrap**: - **dataNode**: 数据节点列表,用于指定要监听的数据源(通常是MySQL服务器)。 2. **offsetStorage**: - **type**: 储存增量信息的方式,如`mysql`(使用数据库存储)或`file`(文件存储)。 - **store**: 存储的具体实现,比如`mysql`的表名、文件路径等。 3. **filter**: 可以设置过滤规则,仅推送特定的表、字段变化等。 4. **WhiteList/BlackList**: - 配置允许或禁止订阅的数据库、表或模式。 5. **executeType**: 收到变化后是否执行SQL,支持`ROW`(行级别)、`DDL`(DDL操作)和`none`。 6. **binlogServer**: - **host**: Binlog服务的主机地址。 - **port**: Binlog服务的端口。 7. **server**: 服务器配置,如心跳间隔、连接超时时间等。 8. **topic**: 主题配置,每个数据源对应一个主题,用于数据消费。 9. **consumerGroup**: 消费者组名,多个消费者可以订阅同一个主题,共享数据流。 10. **retry** 和 **exceptionBackoff**: 当消费失败时的重试策略和延迟时间。 11. **dump**: 开启日志输出,如全量dump或只输出变化数据。 相关问题--: 1. Canal如何根据配置订阅和过滤数据库变更? 2. 如何设置Canal的消费者组和数据同步模式? 3. 如何处理Canal消费过程中可能出现的网络异常和错误?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值