MySQL主从复制从原理到实践

引言

在实际项目开发中，经常会遇到大数据量高并发的场景，为了减轻数据库的负担，我们在使用MySQL时经常会采用主从复制、读写分离的架构。以前我们的数据库可能只部署在一台机器上，遇到大数据量高并发的场景对机器的要求非常高。通过主从复制，我们可以采用一主多从的架构，在不同的机器上部署多个数据库，从而减轻服务器的负担。
举个简单的例子，以前一项工作只交给一个人做，现在可以交给多个人去做，这样大大减轻了大家的负担。但是多个人做就有了一定的要求，正所谓无规矩不成方圆，一个人做只要完成了任务想怎么搞就怎么搞，几个人合作需要考虑沟通协调，分工合作，任务分配，信息同步等问题，不然只会1+1<2。

什么是主从复制？

主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从数据库上，然后在从数据库上对这些日志进行重新执行，从而使从数据库和主数据库的数据保持一致。数据只能从主数据库同步到从数据库，从数据库的数据是不能同步到主数据库的，因此主数据库一般可以做增删查改，从数据库只能做查询用。

主从复制的原理

1、MySQL主库在事务提交时会把数据变更作为事件记录在二进制日志Binlog中；
2、主库推送二进制日志文件Binlog中的事件到从库的中继日志Relay Log中，之后从库根据中继日志重做数据变更操作，通过逻辑复制来达到主库和从库的数据一致性；
3、MySQL通过三个线程来完成主从库间的数据复制，其中Binlog Dump线程跑在主库上，I/O线程和SQL线程跑着从库上；
4、当在从库上启动复制时，首先创建I/O线程连接主库，主库随后创建Binlog Dump线程读取数据库事件并发送给I/O线程，I/O线程获取到事件数据后更新到从库的中继日志Relay Log中去，之后从库上的SQL线程读取中继日志Relay Log中更新的数据库事件并应用，如下图所示。

实例搭建—基于Docker/一主一从

一、主实例搭建

1、运行mysql主实例：注意开放3307防火墙端口
通过-v把数据映射到磁盘，防止容器被删除导致数据丢失。

docker run -p 3307:3306 --name mysql-master \
-v /mydata/mysql-master/log:/var/log/mysql \
-v /mydata/mysql-master/data:/var/lib/mysql \
-v /mydata/mysql-master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7

2、在mysql的配置文件夹/mydata/mysql-master/conf中创建一个配置文件my.cnf：

cd /mydata/mysql-master/conf
touch my.cnf

3、修改配置文件vim my.cnf，配置信息如下：
:i 进入编辑模式 :wq保存

[mysqld]
## 设置server_id，同一局域网中需要唯一
server_id=101 
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能
log-bin=mall-mysql-bin  
## 设置二进制日志使用内存大小（事务）
binlog_cache_size=1M  
## 设置使用的二进制日志格式（mixed,statement,row）
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0，表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

4、修改完配置后重启实例：

docker restart mysql-master

5、进入mysql-master容器中：

docker exec -it mysql-master /bin/bash

6、在容器中使用mysql的登录命令连接到客户端：mysql安装成功默认root密码为root

mysql -uroot -proot

7、修改root密码

use mysql;  
##查看user表：
select user,authentication_string,host from user;  
##修改root密码：
alter user 'root'@'localhost' IDENTIFIED BY '你的密码';
alter user 'root'@'%' IDENTIFIED BY ‘你的密码';
##刷新权限：
flush privileges; 

8、创建数据同步用户：

CREATE USER 'slave'@'%' IDENTIFIED BY '你的密码';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

9、退出：
退出数据库：exit;
退出容器：exit;
10、重启实例：

docker restart mysql-master

二、从实例搭建

1、运行mysql从实例：注意开放3308防火墙端口
通过-v把数据映射到磁盘，防止容器被删除导致数据丢失。

docker run -p 3308:3306 --name mysql-slave \
-v /mydata/mysql-slave/log:/var/log/mysql \
-v /mydata/mysql-slave/data:/var/lib/mysql \
-v /mydata/mysql-slave/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root  \
-d mysql:5.7

2、在mysql的配置文件夹/mydata/mysql-slave/conf中创建一个配置文件my.cnf：

cd /mydata/mysql-slave/conf
touch my.cnf

3、修改配置文件vim my.cnf，配置信息如下：
:i 进入编辑模式 :wq保存

[mysqld]
## 设置server_id，同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql  
## 开启二进制日志功能，以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin  
## 设置二进制日志使用内存大小（事务）
binlog_cache_size=1M  
## 设置使用的二进制日志格式（mixed,statement,row）
binlog_format=mixed  
## 二进制日志过期清理时间。默认值为0，表示不自动清理。
expire_logs_days=7  
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062  
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin  
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1  
## slave设置为只读（具有super权限的用户除外）
read_only=1

4、修改完配置后重启实例：

docker restart mysql-slave

5、进入mysql-slave容器中：

docker exec -it mysql-slave /bin/bash

6、在容器中使用mysql的登录命令连接到客户端：

mysql -uroot -proot

7、在从数据库中配置主从复制：

change master to master_host='主库host', master_user='slave', master_password='主库slave密码', master_port=3307, master_log_file='mall-mysql-bin.000001', master_log_pos=617, master_connect_retry=30;  

主从复制命令参数说明：

master_host：主数据库的IP地址；
master_port：主数据库的运行端口；
master_user：在主数据库创建的用于同步数据的用户账号；
master_password：在主数据库创建的用于同步数据的用户密码；
master_log_file：指定从数据库要复制数据的日志文件，通过查看主数据的状态，获取File参数；
master_log_pos：指定从数据库从哪个位置开始复制数据，通过查看主数据的状态，获取Position参数；
master_connect_retry：连接失败重试的时间间隔，单位为秒。

8、查看主从同步状态：

show slave status \G;

9、开启主从同步：

start slave;

查看从数据库状态发现已经同步：

10、修改root密码：

use mysql;  
##查看user表：
select user,authentication_string,host from user;  
##修改root密码：
alter user 'root'@'localhost' IDENTIFIED BY '你的密码';
alter user 'root'@'%' IDENTIFIED BY ‘你的密码';
##刷新权限：
flush privileges; 

11、退出：
退出数据库：exit;
退出容器：exit;
12、重启实例：

docker restart mysql-slave

测试

1、通过Navicat连接主从库。
2、在主库新建一个数据库，刷新从库，发现数据库被同步，则说明主从复制已经搭建成功。
3、配置了主从库，尝试对从库进行更新操作，出现报错：The MySQL server is running with the --read-only option so it cannot execute this statement，说明从库数据只能从主库同步，不能直接对从库数据进行操作。

思考

搭建好了主从复制环境，如何实现读写分离？
假如主库做了DML，当数据库正在进行主从复制过程中，用户对子库执行查询，会造成数据不一致。这种情况怎么处理？