文章目录
MySQL主从复制原理
在实际环境中，面对巨大的并发量和数据读写压力，我们往往需要多台数据库服务器来提共服务，并且将读和写的的压力分担到不同的服务器上，以满足在安全性与高可用性上的需求。
MySQL支持的复制类型
1、基于语句的复制（STATEMENT)
在主服务器上执行的SQL语句，在从服务器上执行同样的语句，MySQL默认采用基于语句的复制，效率比较高。
2、基于行的复制（ROW）
把改变的内容复制过去，而不是把命令在从服务器上执行一遍。
3、混合类型的复制（MIXED）
默认采用基于语句的复制一旦发现基于语句无法精确复制时，就会采用基于行的复制。
主从复制的工作过程
核心：两个日志，三个线程
两个日志：二进制日志、中继日志
三个线程：I/O、dump、sql
主要原理：Master将数据保存在二进制日志中，I/O向dump发出同步请求，dump把数据发送给I/O线程，I/O写入本地的中继日志数据，同步到自己数据库中，完成同步。
- 主MySQL服务器做的增删改操作，都会写入自己的二进制日志（Binary log）
- 然后从MySQL从服务器打开自己的I/O线程连接主服务器，进行读取主服务器的二进制日志
- I/O去监听二进制日志，一旦有新的数据，会发起请求连接
- 这时候会触发dump线程，dump thread响应请求，传送数据给I/O（dump线程要么处于等待，要么处于睡眠）
- I/O接受到数据之后存放在中继日志
- SQL thread线程会读取中继日志里的数据，存放到自己的服务器中
1、在每个事务更新数据完成之前，Master在二进制日志(Binary log)记录这些改变。写入二进制日志完成后，Master通知存储引擎批交事务。
2、Slave 将Master复制到其中继日志(Relay log)，首先slave开始一个工作线程(I/O),I/O线程在Master上打开一个普通的连接，然后开始Binlog dump process。Binlog dump process从Master的二进制日志中读取事件，如果已经跟上Master,它会睡眠并等待Master产生新的事件，I/O线程将这些事件写入中继日志。
3、SQL slave thread(SQL从线程)处理该过程的最后一步，SQL线程从中继日志读取事件，并重放其中的事件而更新slave数据，使其与Master中的数据一致，只要该线程与I/O线程保持一致。
注
中继日志通常会位于OS缓存中，所以中继日志的开销很小
复制过程有一个很重要的限制，即复制在slave上是串行化的，也就是说Master上的并行更新操作不能再slave上并行操作
配置主从复制
主服务器：192.168.32.11
从服务器1：192.168.32.12
从服务器2：192.168.32.13
进行服务器时间同步
#关闭防火墙
systemctl stop firewalld
setenforce 0
ntpdate ntp1.aliyun.com
配置主服务器
vim /etc/my.cnf
log-bin=master-bin #开启二进制日志
binlog_format=MIXED #二进制日志格式
log-slave-updates=true #开启从服务器同步
systemctl restart mysqld.service
给从服务器授权
grant replication slave on *.* to 'myslave'@'192.168.32.%' identified by '123456';
#刷新
flush privileges;
#查看主服务器二进制文件
show master status;
配置从服务器1
vim /etc/my.cnf
server-id = 2 ##slave1和slave2的id不能相同
log-bin=master-bin
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index
systemctl restart mysqld.service
change master to master_host='192.168.32.11',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=603;
flush privileges; #刷新
start slave; #开启
show slave status\G #查看
配置从服务器2
vim /etc/my.cnf
server-id = 3 ##同一集群的slave ID不能相同
log-bin=master-bin
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index
systemctl restart mysqld.service
change master to master_host='192.168.32.11',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=603;
flush privileges; #刷新
start slave; #开启
show slave status\G #查看
验证
在主服务器中写入一些数据
在从服务器1上查看
在从服务器2上查看
主从复制的优点
- 数据备份（Data Backup）：只是简单的对数据库进行备份，降低数据丢失的风险。
- 线下统计：用于报表等对数据时效性要求不高的场合。
- 负载均衡（Load Balance）、读写分离：主要用于在MySQL集群，解决单点故障或做故障切换；以降低单台服务器的负载和风险，如实现读写分离，可以使得服务器访问负荷比较均衡。
- 数据分发(Data DistributIOn)、灾备：主要用于多数据中心或异地备份，实现数据分发与同步。
- 高可用和数据容错(High Availability and Failover)：MySQL自带的健康监控和检测，根据配置的时间间隔，可以检测主库是否正常工作，一旦发现主库宕机或无法正常工作，就会选择到最好的一个备库上。
读写分离
读写分离就是只在主服务器上写，只在从服务器上读。基本的原理是让主数据库处理事务性操作，而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。目前较为常见的 MySQL 读写分离分为以下两种：
1、基于程序代码内部实现
在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；缺点是需要开发人员来实现，运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。
2、基于中间代理层实现
代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。
MySQL-Proxy：MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行SQL 判断。
Atlas：是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。
Amoeba：由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
由于使用MySQL Proxy 需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。
Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。
MySQL主从搭建
amoeba服务器软件安装
amoeba（192.168.32.19）
1、安装Java环境
因为amoeba是基于jdk1.5开发的，所以官方推荐使用jdk1.5或1.6版本，高版本不建议使用
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
#因为此jdk 是bin文件（二进制可执行文件）所以直接执行即可
cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin # 输入yes，按enter
#重命名
mv jdk1.6.0_14/ /usr/local/jdk1.6
#添加环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
#加载
source /etc/profile
#查看版本
java -version
安装Amoeba软件
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
如显示amoeba start|stop 说明安装成功
配置 Amoeba读写分离，两个 Slave 读负载均衡
#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问
grant all on *.* to 'test'@'192.168.32.%' identified by '123456';
再回到amoeba服务器配置amoeba服务：
cd /usr/local/amoeba/conf/
cp amoeba.xml amoeba.xml.bak
vim amoeba.xml
#修改主配置文件
#以下配置的是第三个账户 (客户端找amoeba的用户身份）
#30行修改账户名(这里是client访问amoeba服务器时使用的账号)
<property name="user">amoeba</property>
#32行修改账户密码(这里是数据库访问amoeba服务器时使用账号时用的密码)
<property name="password">123456</property>
#115行修改默认池
<propertyname="defaultPoo1">master</propertv>
#117行取消注释
//取消下面的注释符号-->，改到这里
#118-119修改"读池"和"写池"
118 <propertyname="writePool">master</property>
119 <propertyname="readPool">slaves</property>
#修改数据库配置文件
cp dbServers.xml dbServers.xml.bak
vim dbServers.xml
#23行注释
mysql schema：Mysql所有数据库信息（show databases）
<property name="schema">mysql</property>
#26行，amoeba访问三台mysql数据库的账户和密码(账户为test)
<property name="user">test</property>
#29行，修改访问数据库的密码
<property name="password">123456</property>
#45行，修改数据库主服务器名/地址
<dbServer name="master" parent="abstractServer">
#48行，修改master服务器ip
<property name="ipAddress">192.168.32.11</property>
#52行修改从服务器名
<dbServer name="slave1" parent="abstractServer">
#55行修改从服务器地址
<property name="ipAddress">192.168.32.12</property>
#紧接复制52-57行，粘贴，添加第二台服务器名
<dbServer name="slave2" parent="abstractServer">
#修改第二台服务器IP
<property name="ipAddress">192.168.32.13</property>
#66行，修改多个服务器池(multiPoo1)的名称(修改为slaves)<dbServer name="slaves" virtual-"true">
#72行，添加两个从服务器的服务器名(slave1 slave2)<property name="poolNames">slave1,slave2</property>
第一个配置文件
1、amoeba.xml
-》定义的是全局的配置
① 客户端的访问用户名与密码
② 后端服务器池的名字（read pool（slaves） 和write pool（master） ）
2、dbServers.xml
-》定义amoeba 访问数据库的相关配置
① amoeba 访问数据库使用什么用户名 test（和数据库之前grant的用户对应）
② amoeba 访问数据库使用什么密码 123.com （和数据库之前grant的密码对应）
③ read pool 和write pool 配置，分别为：
write pool：master角色，ip为192.168.32.11
read pool：slave1角色，ip为192.168.32.12 slave2角色，ip为192.168.32.13
④ 定义了读池的load balance 负载均衡的策略——》“1” RR轮询模式
名字：slaves ——》对应 slave1，slave2
/usr/local/amoeba/bin/amoeba start &
#另开终端，查看是否启动
netstat-natp | grep java
netstat-natp | grep 8066
测试
下载 mariadb 客户端
yum -y install mariadb
systemctl stop firewalld
setenforce 0
#远程登录 amoeba 服务器
mysql -u amoeba -p123456 -h 192.168.32.19 -P8066
测试一：
amoeba服务器是否关联后端mysql#客户端进入数据库创建表
use liuxu;
show tables;
create table test1（id int(4) not null,name varchar(20));
#在三台mysq1服务器中查看是否有此表(amoeba关联) use liuxu
show tables;
测试二:
测试mysgl读写分离
#2台从服务器关闭主从同步，测试amoeba读写分离
stop slave;
#客户端插入数据
insert into test1(id,name) values(1,‘Iiu’)
#master(处理写的任务) select* from test1:发现:可查到数据
#slave(处理读的任务) select * from test1;
发现:从服务器看不到数据
Master
测试三:读写分离架构，对于读”的任务是怎么操作的测试方式:
分别在slave1和salve2 liuxu数据库中插入不同数据， 然后使用客户端进 select 查询， 观测结果:
slave1
insert into test1 (id,name) values (2,‘xu’);
slave2
insert into test1 (id,name) values (3,‘zhangsan’);
client端
select * from test1
被轮询读取
总结
1、主从同步原理
通过amoeba代理服务器，实现只在主服务器上写，只在从服务上读；
主数据库处理事务性查询，从数据库处理 select 查询；
数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库
2、如何查看主从同步状态是否成功
在从服务器内输入命令 show slave status\G，查看主从信息进行查看，里面有IO线程的状态信息，还有master服务器的IP地址、端口、事务开始号，
当 slave_io_running 和 slave_sql_running 都显示为yes时，表示主从同步状态成功
3、如果I/O和SQL不是yes呢,你是如何排查的
首先排除网络问题，使用ping命令查看从服务是否能与主服务器通信
再者查看防火墙和核心防护是否关闭
接着查看从服务器内的slave是否开启
两个从服务器的 server-id 是否相同导致只能连上一台
master_log_file 和 master_log_pos 的值要是否与Master查询的一致
4、show slave status能看到哪些信息(比较重要的)
IO线程的状态信息
master服务器的IP地址、端口、事务开始位置
最近一次的报错信息和报错位置等
5、主从复制慢(延迟)有哪些可能
主服务器的负载过大，被多个睡眠或者僵尸线程占用，导致系统负载过大
从库硬件比主库差，导致复制延迟
主从复制单线程，如果主库写并发太大，来不及传送到从库，就会导致延迟。
慢SQL语句过多
网络延迟
扫一扫
1384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
