linux运维———MYSQL的组复制及半同步复制

MYSQL半同步复制

原理:当数据库主从复制的时候,如果主库不等副库复制就直接提交处理事物,那么一旦发生网络延迟,从库跟不上主库的操作,就会产生延迟。但是如果主库一直等待从库返回值,如果时间过久,或者从库网络出现问题,那么主库一直等待就会出现问题。所以主机不能一直等待,在一个规定的时间内如果从库不返回响应,那么主库就会认为从库宕机,不再等待。等从库重新开启服务,就会将主库有从库没有的数据重新写入从库。

半同步复制(Semisynchronous replication)

介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。

在2010年MySQL 5.5版本之前,一直采用的是这种异步复制的方式。主库的事务执行不会管备库的同步进度,如果备库落后,主库不幸crash,那么就会导致数据丢失。于是在MySQL在5.5中就顺其自然地引入了半同步复制,主库在应答客户端提交的事务前需要保证至少一个从库接收并写到relay log中

异步复制(Asynchronous replication)

MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。

全同步复制(Fully synchronous replication)

指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响

基于上一个实验实验环境还是可以接着用的,

主数据库
 mysql -uroot -p     登陆数据库
  INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';    ##安装半同步插件
  SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME LIKE '%semi%';                      			查看插件是否安装                                            
  SET GLOBAL rpl_semi_sync_master_enabled =1;    激活插件  
  SHOW VARIABLES LIKE 'rpl_semi_sync%';       
  SHOW STATUS LIKE 'Rpl_semi_sync%';
  SHOW VARIABLES LIKE '%rpl%';
备数据库
 mysql -uroot -p     登陆数据库
 SET GLOBAL rpl_semi_sync_slave_enabled =1;
SHOW STATUS LIKE 'Rpl_semi_sync%';
SHOW VARIABLES LIKE '%rpl%';
STOP SLAVE IO_THREAD;   暂停服务,然后在主库中更新,新的数据库资源
主数据库中

这个是原备数据库中的表中资料
在这里插入图片描述

use lucky 进入到表中,重写写入数据资料,用来检测半同步复制的实验效果
insert into usertb values('user7','7');        需要注意是 SLAVE IO_THREAD在备库中已经停止服务的,第一次插入表中数据是会有所延迟的。是因为主库在询问备库,备库一直不给出回应,主库就认为备库已经宕机。后边的如果还要添加数据,速度就会变快,直至备库的修复,数据可以很快的传输到备库中
备库中

在关闭调服务后打开就不能重新更新到备库中的数据了

mysql> select * from usertb;
+----------+----------+
| username | password |
+----------+----------+
| user1    | 2333     |
| user2    | 0        |
+----------+----------+
4 rows in set (0.00 sec)
mysql> show variables like '%rpl%';
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | ON         | 是否开启半同步
| rpl_semi_sync_master_timeout              | 10000      | 切换复制的timeout
| rpl_semi_sync_master_trace_level          | 32         |用于开启半同步复制模式时的调试级别,默认是32
| rpl_semi_sync_master_wait_for_slave_count | 1          |至少有N个slave接收到日志
| rpl_semi_sync_master_wait_no_slave        | ON         |是否允许master 每个事物提交后都要等待slave的receipt信号。默认为on 
| rpl_semi_sync_master_wait_point           | AFTER_SYNC | 等待的point
| rpl_stop_slave_timeout                    | 31536000   |
+-------------------------------------------+--------控制stop slave 的执行时间,在重放一个大的事务的时候,突然执行stop slave,命令 stop slave会执行很久,这个时候可能产生死锁或阻塞,严重影响性能----+
mysql> show variables like '%rpl%';
+---------------------------------+----------+
| Variable_name                   | Value    |
+---------------------------------+----------+
| rpl_semi_sync_slave_enabled     | ON       |是否开启半同步
| rpl_semi_sync_slave_trace_level | 32       |用于开启半同步复制模式时的调试级别,默认是32
| rpl_stop_slave_timeout          | 31536000 |
+---------------------------------+----------+
打开服务
 START SLAVE IO_THREAD;
use lucky;
select * from usertb;
mysql> select * from usertb;           打开服务后数据会很快的传输到备库中去的。
+----------+----------+
| username | password |
+----------+----------+
| user1    | 2333     |
| user2    | 0        |
| user7    | 7        |
+----------+----------+
5 rows in set (0.00 sec)

这样就达到mysql的半同步复制,能更好的提升用户的感受和使用体验。

MYSQL的组复制(高可用)

所有集群中的机器都可以单独写入,同步集群中其他机器中的数据库数据。当一台机器宕机时,随时都有其他服务机上线使用。
首先需要将原始的auto.cnf下uuid这个数据文件保留上,然后删除掉mysql下的所有文件资料。
在这里插入图片描述
vim /etc/my.cnf 改写mysql的主配置文件,添加高可用所需要的插件及其策略。

        server_id=1
        gtid_mode=ON
        enforce_gtid_consistency=ON
        master_info_repository=TABLE
        relay_log_info_repository=TABLE
        binlog_checksum=NONE         #关闭binlog校验
        log_slave_updates=ON
        log_bin=binlog
        binlog_format=ROW     #组复制依赖基于行的复制格式

        transaction_write_set_extraction=XXHASH64
        loose-group_replication_group_name="57cec957-9d0d-11e9-826a-525400f2e74a"             这个就是之前保留的auto.cnf的uuid文件071eef68-9e06-11e9-a02b-525400b18418
        loose-group_replication_start_on_boot=off
        loose-group_replication_local_address= "172.25.66.2:24901"      
        loose-group_replication_group_seeds= "172.25.66.2:24901,172.25.66.3:24901,172.25.66.4:24901"
        loose-group_replication_bootstrap_group=off						##插件是否自动引导,这个选项一般都要off掉,只需要由发起组复制的节点开启,并只启动一次,如果是on,下次再启动时,会生成一个同名的组,可能会发生脑裂
        loose-group_replication_ip_whitelist="127.0.0.1,172.25.66.0/24"
        loose-group_replication_enforce_update_everywhere_checks=ON
        loose-group_replication_single_primary_mode=OFF               #后两行是开启多主模式的参数

[root@lucky2 mysql]# systemctl start mysqld

查看原始密码并且后续进行更改密码

[root@lucky2 mysql]# cat /var/log/mysqld.log | grep password

在这里插入图片描述
登陆lucky2数据库,添加高可用所用的资源

[root@lucky2 mysql]# mysql -uroot -p
mysql> alter user root@localhost identified by'Westos+123';         修改密码
Query OK, 0 rows affected (0.39 sec)

mysql> SET SQL_LOG_BIN=0;				#关闭二进制日志,防止传到其他server上
Query OK, 0 rows affected (0.00 sec)

mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Westos+123';
Query OK, 0 rows affected (0.00 sec)

mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

mysql> SET SQL_LOG_BIN=1;			#开启日志
Query OK, 0 rows affected (0.00 sec)

mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Westos+123' FOR CHANNEL 'group_replication_recovery';
Query OK, 0 rows affected, 2 warnings (0.33 sec)

mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
Query OK, 0 rows affected (0.10 sec)

mysql> SET GLOBAL group_replication_bootstrap_group=ON;				#组复制发起节点开启这个参数
Query OK, 0 rows affected (0.00 sec)

mysql> START GROUP_REPLICATION;
Query OK, 0 rows affected (2.53 sec)

mysql> SET GLOBAL group_replication_bootstrap_group=OFF;
Query OK, 0 rows affected (0.00 sec)

mysql> SELECT * FROM performance_schema.replication_group_members;					##查看lucky2是否online
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| group_replication_applier | 07dc897e-9d2f-11e9-b122-525400f2e74a | lucky2      |        3306 | ONLINE       |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
1 row in set (0.00 sec)
exit  退出

编写好的mysqld主配置文件发送给其他的组复制集群,其他的组复制集群也都需要将mysql下载安装的

[root@lucky2 mysql]# scp  /etc/my.cnf lucky3:/etc/
[root@lucky2 mysql]# scp  /etc/my.cnf lucky4:/etc/
lukcy3中
[root@lucky3 mysql]# systemctl stop  mysqld
[root@lucky3 mysql安装包]# cd /var/lib/mysql
[root@lucky3 mysql]# ls
auto.cnf         ib_logfile0              master.info         relay-log.info
ca-key.pem       ib_logfile1              mysql               server-cert.pem
ca.pem           ibtmp1                   mysql.sock          server-key.pem
client-cert.pem  lucky                    mysql.sock.lock     sys
client-key.pem   lucky3-relay-bin.000003  performance_schema
ib_buffer_pool   lucky3-relay-bin.000004  private_key.pem
ibdata1          lucky3-relay-bin.index   public_key.pem
[root@lucky3 mysql]# rm -rf *             删除之前所做的资源
[root@lucky3 mysql]# ls

将主库发送来的mysql配置文件改写一下

[root@lucky3 mysql]# vim /etc/my.cnf
server-id=2
loose-group_replication_local_address= "172.25.18.3:24901"    只需要改本机器的服务ip和备库的id
[root@lucky3 mysql]# systemctl start mysqld

修改lucky3的初始化密码,登陆数据库

[root@lucky3 mysql]# cat /var/log/mysqld.log | grep password
[root@lucky3 mysql]# mysql -uroot -p
mysql> alter user root@localhost identified by 'Westos+123';
Query OK, 0 rows affected (0.10 sec)

mysql> SET SQL_LOG_BIN=0;
Query OK, 0 rows affected (0.00 sec)

mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Westos+123';
Query OK, 0 rows affected (0.00 sec)

mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
Query OK, 0 rows affected (0.01 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.01 sec)

mysql> SET SQL_LOG_BIN=1;
Query OK, 0 rows affected (0.00 sec)

mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Westos+123' FOR CHANNEL 'group_replication_recovery';
Query OK, 0 rows affected, 2 warnings (0.31 sec)

mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
Query OK, 0 rows affected (0.22 sec)

mysql> START GROUP_REPLICATION;
ERROR 3092 (HY000): The server is not configured properly to be an active member of the group. Please see more details on error log.         这个报错是自己踩过的一个坑。报错是必会有的,查看mysql日志,找到解决办法

重新登陆,解决报错

mysql> STOP GROUP_REPLICATION;
Query OK, 0 rows affected (0.00 sec)

mysql> set global group_replication_allow_local_disjoint_gtids_join=on;   #直接做这一步 不用等报错
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> START GROUP_REPLICATION;              恢复正常
Query OK, 0 rows affected, 1 warning (6.71 sec)

配置 lucky4;

lucky4的配置和lucky3的文件配置和操作过程都是一样的,只需要更改默认配置文件里的servr-id 和loose-group_replication_local_address 就行,所以不过多叙述。

配置好后在lucky2上查看

mysql> SELECT * FROM performance_schema.replication_group_members;
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| group_replication_applier | 27142537-9e20-11e9-a3b9-5254006ed6b5 | lucky2      |        3306 | ONLINE       |
| group_replication_applier | 4a392812-9e21-11e9-938f-525400d71970 | lucky4      |        3306 | ONLINE       |
| group_replication_applier | a56315ef-9e20-11e9-9bb4-52540079ec92 | lucky3      |        3306 | ONLINE       |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
3 rows in set (0.00 sec)

看到3台都是online,表示正常,这时在任何一个节点都可以看到刚才插入的数据,在任何节点写入数据,其他节点也能看到
检测:
在lucky2上设置的数据lucky4也是可以看到。

在这里插入图片描述在这里插入图片描述
这样就是达到了mysql 祖复制的效果了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值