mysql的主从复制，基于gtid的主从复制，半同步复制，组复制

原创 于 2019-07-30 12:25:00 发布
· 127 阅读 · 0 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在这里插入图片描述

从库生成两个线程，一个I/O线程，一个SQL线程；
 
i/o线程去请求主库 的binlog，并将得到的binlog日志写到relay log（中继日志） 文件中；
主库会生成一个 log dump 线程，用来给从库 i/o线程传binlog；
SQL 线程，会读取relay log文件中的日志，并解析成具体操作，来实现主从的操作一致，而最终数据一致；

mysql的日志类型：
		Error log 错误日志
		General query log普通查询日志
		Slow query log 慢查询日志（记录哪些查询比较慢 ）
		Binary log二进制日志文件（1、用于增量备份。2、主从）
		要实现MySQL的主从复制，首先必须打开Master端的Binlog记录功能，否则就无法实现。因为整个复制过程实际上就是Slave从Master端获取BInlog日志，然后再在Slave上以相同顺序执行获取的binlog日志中记录的各种SQL操作。

在这里插入图片描述
缺点：
主机写多少数据，备机就会去同步多少数据，但是有时候数据会丢失，，假如主机坏了，备机同步的就不是一整块数据

在master上

[root@base2 ~]# tar xf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar 
[root@base2 ~]# ls
mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar
mysql-community-client-5.7.24-1.el7.x86_64.rpm
mysql-community-common-5.7.24-1.el7.x86_64.rpm
mysql-community-devel-5.7.24-1.el7.x86_64.rpm
mysql-community-embedded-5.7.24-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.24-1.el7.x86_64.rpm
mysql-community-embedded-devel-5.7.24-1.el7.x86_64.rpm
mysql-community-libs-5.7.24-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm
mysql-community-minimal-debuginfo-5.7.24-1.el7.x86_64.rpm
mysql-community-server-5.7.24-1.el7.x86_64.rpm
mysql-community-server-minimal-5.7.24-1.el7.x86_64.rpm
mysql-community-test-5.7.24-1.el7.x86_64.rpm
[root@base2 ~]# yum install -y mysql-community-client-5.7.24-1.el7.x86_64.rpm mysql-community-common-5.7.24-1.el7.x86_64.rpm mysql-community-libs-5.7.24-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm mysql-community-server-5.7.24-1.el7.x86_64.rpm   # 只需要这五个即可
[root@base2 ~]# vim /etc/my.cnf
 log-bin=mysql-bin  # 启用二进制功能，主从复制基础
 server-id=1        # id唯一

在这里插入图片描述

[root@base2 ~]# systemctl start mysqld
[root@base2 ~]# cat /var/log/mysqld.log | grep password  # 查看临时密码

在这里插入图片描述[root@base2 ~]# mysql_secure_installation # 初始化密码
在这里插入图片描述在这里插入图片描述在这里插入图片描述

[root@base2 ~]# mysql -p   # 再次登录，可以正常使用
Enter password: 
mysql> show databases;

在这里插入图片描述

mysql> grant replication slave on *.* to repl@'172.25.78.%' identified by 'Ting@666';  #  为服务器创建一个连接账户并授予权限，*.*表示所有权限;172.25.78.%表示这个网段的所有用户都有这个权限
mysql> show master status;

在这里插入图片描述
#在slave上
先测试master数据库是否能远程登录

[root@base2 ~]# mysql -h 172.25.78.12 -u repl -p
Enter password: 
mysql> show databases;   # 测试成功

在这里插入图片描述开始配置slave的数据库

[root@base3 ~]# tar xf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar 
[root@base3 ~]# yum install -y mysql-community-client-5.7.24-1.el7.x86_64.rpm mysql-community-common-5.7.24-1.el7.x86_64.rpm mysql-community-libs-5.7.24-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm mysql-community-server-5.7.24-1.el7.x86_64.rpm
[root@base3 ~]# vim /etc/my.cnf
server-id=2
注：从服务器 ID 号,不能和主 ID 相同,如果设置多个从服务
器,每个从服务器必须有一个唯一的 server-id 值,必须与主服
务器的以及其它从服务器的不相同。可以认为 server-id 值
类似于 IP 地址:这些 ID 值能唯一识别复制服务器群集中的
每个服务器实例。
[root@base3 ~]# systemctl start mysqld
[root@base3 ~]# cat /var/log/mysqld.log | grep password

在这里插入图片描述

[root@base3 ~]# mysql_secure_installation  # 初始化密码
[root@base3 ~]# mysql -p
mysql> change master to master_host='172.25.78.12',master_user='repl',master_password='Ting@666',master_log_file='mysql-bin.000002',master_log_pos=1003;  # 从库和主库建立连接,必须和主服务器里查看到的数据保持一致
mysql> start slave; 
mysql> show slave status\G;   查看

在这里插入图片描述测试：
在这里插入图片描述

mysql> insert into userlist values ('userq','111');
mysql> insert into userlist values ('user1','222');	
mysql> select * from userlist;   # 建立成功

在这里插入图片描述在slave库上查看

[root@base3 ~]# mysql -p
Enter password: 
mysql> show databases;

在这里插入图片描述
在这里插入图片描述

2.gtid实现主从复制

相比于传统的主从复制优点：不需要知道复制哪个文件，也不需要知道从哪个号开始复制，解决了异步复制数据同步不完整的问题，它把事务分为123，是一整块的，这样在备机同步主机的数据时，就不会丢失数据。

在master上

[root@base2 ~]# vim /etc/my.cnf
log-bin=mysql-bin
server-id=1 
gtid_mode =ON
enforce-gtid-consistency=true
[root@base2 ~]# systemctl  restart mysqld
[root@base2 ~]# mysql -p
Enter password: 
mysql> grant replication slave on *.* to repl@'172.25.78.%' identified by 'Ting@666';  #  为服务器创建一个连接账户并授予权限，*.*表示所有权限;172.25.78.%表示这个网段的所有用户都有这个权限

在slave上

[root@base3 ~]# vim /etc/my.cn
server-id=2
gtid_mode =ON
enforce-gtid-consistency=true
[root@base3 ~]# systemctl restart mysqld 	
[root@base3 ~]# mysql -p
Enter password: 
mysql> stop slave;
mysql> change master to master_host='172.25.78.12',master_user='repl',master_password='Ting@666',MASTER_AUTO_POSITION=1;   # 改变slave服务器用于连接master服务器的参数，此处把MASTER值设为动态
mysql> start slave;
mysql> show slave status\G;

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

mysql主从复制存在的问题：

1.主库宕机后，数据可能丢失
2.从库只有一个sql Thread，主库写压力大，复制很可能延时

解决方法：

1.半同步复制----解决数据丢失的问题
2.并行复制----解决从库复制延迟的问题

4.基于gtid实现半同步

  介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后
不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才
返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时
它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。
所以，半同步复制最好在低延时的网络中使用。

这个比异步复制更加严谨一点，主机的事务1做完之后，只有当主机给备机发送信号，且备机接受到信号，并且同步完成返回ACK确认信号之后，主机才会做事务2，但是只要有一台备机同步好就行

在这里插入图片描述

mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so';  # 下载插件
mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS  WHERE PLUGIN_NAME LIKE '%semi%';     # 查看插件是否加载成功

在这里插入图片描述

mysql> show global variables like '%semi%';   	
mysql> set global rpl_semi_sync_master_enabled=1;  # 设置变量，启用半同步复制，这是临时设置，永久设置需要编辑文件/etc/my.cnf写入rpl_semi_sync_master_enabled=1		
mysql> show global variables like '%semi%';

在这里插入图片描述在这里插入图片描述mysql> show status like 'Rpl_semi_sync_master_status'; # 查看半同步是否在运行
在这里插入图片描述配置slave服务器

mysql> install plugin rpl_semi_sync_slave soname 'semisync_slave.so';  # 下载插件
mysql> set global rpl_semi_sync_slave_enabled=1;  # 设置变量，启用半同步复制
mysql> stop slave IO_THREAD;     # 重启slave上的IO线程,重启后，slave会在master上注册为半同步复制的slave角色,否则还是异步复制
mysql> start slave IO_THREAD;
mysql> show global variables like '%semi%';

在这里插入图片描述

mysql> show status like 'Rpl_semi_sync_slave_status';  # 查看半同步是否在运行

在这里插入图片描述测试：
（1）在Slave执行stop slave后，master的create操作需要10.76s才返回，而这与rpl_semi_sync_master_timeout参数的时间相吻合。在这里插入图片描述mysql> create database student;

在这里插入图片描述
在这里插入图片描述（2）在Slave执行stop slave之前，master的drop操作很快就能返回。

在slave上

mysql>mysql> start slave IO_THREAD;
mysql> show databases;    # 当slave启动时，数据会自动同步,不会丢失

在这里插入图片描述在这里插入图片描述
事实上，半同步复制并不是严格意义上的半同步复制,当半同步复制发生超时时（由rpl_semi_sync_master_timeout参数控制，单位是毫秒，默认为10000，即10s），会暂时关闭半同步复制，转而使用异步复制。当master dump线程发送完一个事务的所有事件之后，如果在rpl_semi_sync_master_timeout内，收到了从库的响应，则主从又重新恢复为半同步复制。

5.组复制

MySQL 组复制实现了基于复制协议的多主更新。
1)复制组由多个 server成员构成，并且组中的每个 server 成员可以独立地执行事务。但所有读写（RW）事务只有在冲突检测成功后才会提交。只读（RO）事务不需要在冲突检测，可以立即提交。
#一.特点：
● 高一致性
基于原生复制及 paxos 协议的组复制技术，并以插件的方式提供，提供一致数据安全保证；
● 高容错性
只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优先原则进行处理，并且内置了自动化脑裂防护机制；
● 高扩展性
节点的新增和移除都是自动的，新节点加入后，会自动从其他节点上同步状态，直到新节点和其他节点保持一致，如果某节点被移除了，其他节点自动更新组信息，自动维护新的组信息；
● 高灵活性
有单主模式和多主模式，单主模式下，会自动选主，所有更新操作都在主上进行；
多主模式下，所有 server 都可以同时处理更新操作。
#二、什么样的应用场景适合用组复制？
1、弹性的数据库复制环境
组复制可以灵活的增加和减少集群中的数据库实例
2、高可用的数据库环境
组复制允许数据库实例宕机，只要集群中大多数服务器可用，则整个数据库服务可用
3、替代传统主从复制结构的数据库环境

在base2上

[root@base2 ~]# systemctl stop mysqld
[root@base2 ~]# cd /var/lib/mysql
[root@base2 mysql]# rm -fr *
[root@base2 mysql]# ps ax | grep mysqld  # 确保没有mysqld进程

在这里插入图片描述

[root@base2 mysql]# uuidgen  # 随机生成uuid
e3c782ed-8970-4905-a7f8-1d0547d81f0c
[root@base2 mysql]# vim /etc/my.cnf
server_id=1
gtid_mode=ON   # 启用二进制日志
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON   # 开启日志同步
log_bin=binlog
binlog_format=ROW  # 二进制日志格式

transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="e3c782ed-8970-4905-a7f8-1d0547d81f0c" # 这是随机生成的，但是一旦设定，uuid就是确定的
loose-group_replication_start_on_boot=off  # 开机不启动
loose-group_replication_local_address="172.25.78.12:24901"  # 绑定本地的172.25.78.12以及24901端口接受其他组成员的连接
loose-group_replication_group_seeds="172.25.78.12:24901,172.25.78.13:24901,172.25.78.14:24901" # 组复制的成员
loose-group_replication_bootstrap_group=off      # 配置不自动引导组
loose-group_replication_ip_whitelist="127.0.0.1,172.25.78.0/24" # 允许网段
loose-group_replication_enforce_update_everywhere_checks=ON # 更新检测
loose-group_replication_single_primary_mode=OFF    # 设置组自动选择一个 server 来处理读/写工作。

在这里插入图片描述

[root@base2 mysql]# systemctl start mysqld  # 开启数据库
[root@base2 mysql]# cat /var/log/mysqld.log | grep password  # 获取初始密码

在这里插入图片描述

[root@base2 mysql]# mysql -p   # 用初始密码登录数据库
Enter password: 
mysql> alter user root@localhost identified by 'Ting@666';  # 修改本地用户密码
mysql> SET SQL_LOG_BIN=0;  # 关闭二进制日志，避免在从服务上复制
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Ting@666';   # 赋予用户密码
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';    # 授权
mysql> FLUSH PRIVILEGES;   # 刷新
mysql> SET SQL_LOG_BIN=1;  # 开启日志
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Ting@666' FOR CHANNEL 'group_replication_recovery';   # 配置组用户
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';   # 安装plugin插件
mysql> SET GLOBAL group_replication_bootstrap_group=ON;  #这句只有base2,在第一次执行引导组的时候执行
mysql> START GROUP_REPLICATION;  # 开启组复制
mysql> SET GLOBAL group_replication_bootstrap_group=OFF;
mysql> SELECT * FROM performance_schema.replication_group_members;  # 查看组复制成员

在这里插入图片描述

mysql> CREATE DATABASE test:  # 创建数据库
mysql> use test;   
Database changed
mysql> CREATE TABLE t1 (c1 INT PRIMARY KEY, c2 TEXT NOT NULL);  # 创建表
mysql> INSERT INTO t1 VALUES (1, 'Luis');
mysql> SELECT * FROM t1;

在这里插入图片描述

###### # 在base3上
[root@base3 ~]# systemctl stop mysqld
[root@base3 ~]# cd /var/lib/mysql
[root@base3 mysql]# rm -fr *
[root@base3 mysql]# vim /etc/my.cnf
server_id=2
gtid_mode=ON   # 启用二进制日志
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON   # 开启日志同步
log_bin=binlog
binlog_format=ROW  # 二进制日志格式

transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="e3c782ed-8970-4905-a7f8-1d0547d81f0c" # 这是随机生成的，但是一旦设定，uuid就是确定的
loose-group_replication_start_on_boot=off  # 开机不启动
loose-group_replication_local_address="172.25.78.13:24901"
loose-group_replication_group_seeds="172.25.78.12:24901,172.25.78.13:24901,172.25.78.14:24901" # 组复制的成员
loose-group_replication_bootstrap_group=off
loose-group_replication_ip_whitelist="127.0.0.1,172.25.78.0/24" # 允许网段
loose-group_replication_enforce_update_everywhere_checks=ON # 更新检测
loose-group_replication_single_primary_mode=OFF

在这里插入图片描述

[root@base3 mysql]# mysql -p
Enter password: 
mysql> alter user root@localhost identified by 'Ting@666';
mysql> SET SQL_LOG_BIN=0;
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Ting@666';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
mysql> FLUSH PRIVILEGES;
mysql> SET SQL_LOG_BIN=1;
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Ting@666' FOR CHANNEL 'group_replication_recovery';
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';	
mysql> START GROUP_REPLICATION;

在这里插入图片描述

mysql> STOP GROUP_REPLICATION;
mysql> reset master;
mysql> START GROUP_REPLICATION;

[root@base4 ~]# ls
mysql-community-client-5.7.24-1.el7.x86_64.rpm  
mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm
mysql-community-common-5.7.24-1.el7.x86_64.rpm  
mysql-community-server-5.7.24-1.el7.x86_64.rpm
mysql-community-libs-5.7.24-1.el7.x86_64.rpm
[root@base4 ~]# yum install -y *
[root@base4 ~]# vim /etc/my.cnf
server_id=3
gtid_mode=ON   # 启用二进制日志
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON   # 开启日志同步
log_bin=binlog
binlog_format=ROW  # 二进制日志格式

transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="e3c782ed-8970-4905-a7f8-1d0547d81f0c" # 这是随机生成的，但是一旦设定，uuid就是确定的
loose-group_replication_start_on_boot=off  # 开机不启动
loose-group_replication_local_address="172.25.78.14:24901"
loose-group_replication_group_seeds="172.25.78.12:24901,172.25.78.13:24901,172.25.78.14:24901" # 组复制的成员
loose-group_replication_bootstrap_group=off
loose-group_replication_ip_whitelist="127.0.0.1,172.25.78.0/24" # 允许网段
loose-group_replication_enforce_update_everywhere_checks=ON # 更新检测
loose-group_replication_single_primary_mode=OFF
[root@base4 ~]# systemctl start mysqld
[root@base4 ~]# cat /var/log/mysqld.log | grep password

在这里插入图片描述

[root@base4 ~]# mysql -p
Enter password: 
mysql> alter user root@localhost identified by 'Ting@666';
mysql> SET SQL_LOG_BIN=0;	
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Ting@666';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
mysql>  FLUSH PRIVILEGES;
mysql>  SET SQL_LOG_BIN=1;
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Ting@666' FOR CHANNEL 'group_replication_recovery';
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql> reset master;
mysql>  START GROUP_REPLICATION;    # 开启组复制
mysql> SELECT * FROM performance_schema.replication_group_members; # 查看组成员成员状态

在这里插入图片描述

问题：

不是ONLINE而是recovering
原因：本地解析的问题
uuid的问题
数据不同步的问题
但是大部分都是数据不同步的问题

解决：进入server2数据库，
reset master
在server1
备份数据  mysqldump --all-databases --single-transaction --routines --events --host=127.0.0.1 --port=3306 --user=root --password=Yyh=123ld> dbdump.db

传到server2，再导入
mysql -p < dbdump.db

CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Yyh=123ld' FOR CHANNEL 'group_replication_recovery';
START GROUP_REPLICATION;
再次查看

导入数据时出现以下报错
1840报错：因为数据库里没有清空，进去reset master 就好了
1045报错：密码输入不对，密码是自动生成的临时密码
grep password /var/log/mysqld.log

再次简述一下三种复制的区别

异步复制（Asynchronous replication），MySQL默认的复制是异步的，主库在执行完客户端提交的事务后会立即将结果返给给客户端，并不关心从库是否已经接收并处理。原理最简单，性能最好，但是主从之间数据不一致的概率很大。

半同步复制（Semisynchronous
replication），介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制牺牲了一定的性能，提高了数据的安全性

全同步复制（Fully synchronous replication），指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值