MySQL多线程同步MySQL-Transfer介绍

由淘宝核心系统研发—数据库组开发的MySQL-Transfer,用于解决MySQL主从同步延迟的问题，从MySQL单线程到多线程的工作模式。

相关资料：

MySQL多线程同步-Transfer使用说明
http://wenku.it168.com/d_000355271.shtml

MySQL异步复制延迟解决的架构设计与运维架构—在线播放—优酷网
http://v.youku.com/v_show/id_XNDc4MzU1MzQ4.html

更多介绍参见《追风刀·丁奇的博客》
http://dinglin.iteye.com/blog/search?query=transfer

一、关于Transfer

MySQL-Transefer（下称Transfer）是一个基于MySQL+patch后得到的主从同步工具。
其主要目的是为了解决原生版本的主从同步里，从库是单线程apply主库的binlog，导致的延迟。

最近完成测试的版本将multi-master (by P.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。

这里做一个已经完成的完整功能介绍。

 

二、总体结构

 
 

 

说明：
1、Transfer可以注册成多个Master的从库
2、Transfer接收多个Master传入的binlog后将更新执行到Slave上
3、Transfer本地没有数据

如果你没有多主的需求，那结构就是Master -> Transfer -> Slave.

 

三、内部结构

  既然是单线程造成的主从延迟，提升就需要用多线程来实现。

 

  我们来看单主情况下的内部实现。

 

说明：左上角是Master， 右上角是Transfer，下面是Slave。

 

四、增加参数及对应说明

在my.cnf中新增如下几个参数：

remote_slave_hostname = Ip of Slave
remote_slave_username = root
remote_slave_password = root
remote_slave_port = Port of Slave
stop_slave_on_error = 1
remote_table_maps_file = ./table_maps
transfer_slave_thread = 10 

说明:

1、前四个是目标slave库的认证信息
2、Stop_slave_on_error 一般建议配置为1，表示只要有一个线程执行出错，所有slave_io_thread都停止

3、remote_table_maps_file路径指向本地文件，文件中每行格式为 “表1 表2”，表示在Transfer做同步时，将Master上所有对表1的操作都更新到表2.

4、transfer_slave_thread是一个只读参数，控制Transfer有多少个线程做并发更新（若为1则表示串行更新，性能与官方版本相同）。一般建议配置为系统核数2倍。

 

 

五、一些说明

1、由于Transfer是在MySQL基础上打的patch，因此支持几乎所有MySQL的监控命令，你原来加在Slave上的监控，可以直接改到Transfer上。

2、一般我们将Transfer和Slave放在同一个机器上（等于是装两个MySQL，一个是Transfer，一个是真正的slave）

3、Transfer按照表名hash将不同表的更新分配到不同的线程，因此在多表环境下才能看得到性能提升

4、Master的binlog格式必须设置成row

5、若需要用到多个Master，给每个Master命令一个channel，命令序列为 change master channel1 to master_log_file=xxx…… ; start slave channel1; 可以单独对一个chanel执行start\stop等命令

6、若只需要一个master，则语法格式不变

 

六、性能效果

测试场景如下，在Master上的16个表并发分别插入10w行。期间先停止同步。插入完成后，再分别测试直接用原生版本主从和Transfer的性能。

主库插入耗时66.1s 。

	耗时	平均tps
MySQL主从	363s	4402/s
Transfer同步	66s	24242/s

 

由于MySQL-Transfer还没有正式开源，只有相应版本的二进制mysqld和patch源码提供，有需要只能联系作者了