MYSQL半同步复制
原理:当数据库主从复制的时候,如果主库不等副库复制就直接提交处理事物,那么一旦发生网络延迟,从库跟不上主库的操作,就会产生延迟。但是如果主库一直等待从库返回值,如果时间过久,或者从库网络出现问题,那么主库一直等待就会出现问题。所以主机不能一直等待,在一个规定的时间内如果从库不返回响应,那么主库就会认为从库宕机,不再等待。等从库重新开启服务,就会将主库有从库没有的数据重新写入从库。
半同步复制(Semisynchronous replication)
介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。
在2010年MySQL 5.5版本之前,一直采用的是这种异步复制的方式。主库的事务执行不会管备库的同步进度,如果备库落后,主库不幸crash,那么就会导致数据丢失。于是在MySQL在5.5中就顺其自然地引入了半同步复制,主库在应答客户端提交的事务前需要保证至少一个从库接收并写到relay log中
异步复制(Asynchronous replication)
MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。
全同步复制(Fully synchronous replication)
指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响
基于上一个实验实验环境还是可以接着用的,
主数据库
mysql -uroot -p 登陆数据库
INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; ##安装半同步插件
SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME LIKE '%semi%'; 查看插件是否安装
SET GLOBAL rpl_semi_sync_master_enabled =1; 激活插件
SHOW VARIABLES LIKE 'rpl_semi_sync%';
SHOW STATUS LIKE 'Rpl_semi_sync%';
SHOW VARIABLES LIKE '%rpl%';
备数据库
mysql -uroot -p 登陆数据库
SET GLOBAL rpl_semi_sync_slave_enabled =1;
SHOW STATUS LIKE 'Rpl_semi_sync%';
SHOW VARIABLES LIKE '%rpl%';
STOP SLAVE IO_THREAD; 暂停服务,然后在主库中更新,新的数据库资源
主数据库中
这个是原备数据库中的表中资料
use lucky 进入到表中,重写写入数据资料,用来检测半同步复制的实验效果
insert into usertb values('user7','7'); 需要注意是 SLAVE IO_THREAD在备库中已经停止服务的,第一次插入表中数据是会有所延迟的。是因为主库在询问备库,备库一直不给出回应,主库就认为备库已经宕机。后边的如果还要添加数据,速度就会变快,直至备库的修复,数据可以很快的传输到备库中
备库中
在关闭调服务后打开就不能重新更新到备库中的数据了
mysql> select * from usertb;
+----------+----------+
| username | password |
+----------+----------+
| user1 | 2333 |
| user2 | 0 |
+----------+----------+
4 rows in set (0.00 sec)
mysql> show variables like '%rpl%';
+-------------------------------------------+------------+
| Variable_name | Value |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled | ON | 是否开启半同步
| rpl_semi_sync_master_timeout | 10000 | 切换复制的timeout
| rpl_semi_sync_master_trace_level | 32 |用于开启半同步复制模式时的调试级别,默认是32
| rpl_semi_sync_master_wait_for_slave_count | 1 |至少有N个slave接收到日志
| rpl_semi_sync_master_wait_no_slave | ON |是否允许master 每个事物提交后都要等待slave的receipt信号。默认为on
| rpl_semi_sync_master_wait_point | AFTER_SYNC | 等待的point
| rpl_stop_slave_timeout | 31536000 |
+-------------------------------------------+--------控制stop slave 的执行时间,在重放一个大的事务的时候,突然执行stop slave,命令 stop slave会执行很久,这个时候可能产生死锁或阻塞,严重影响性能----+
mysql> show variables like '%rpl%';
+---------------------------------+----------+
| Variable_name | Value |
+---------------------------------+----------+
| rpl_semi_sync_slave_enabled | ON |是否开启半同步
| rpl_semi_sync_slave_trace_level | 32 |用于开启半同步复制模式时的调试级别,默认是32
| rpl_stop_slave_timeout | 31536000 |
+---------------------------------+----------+
打开服务
START SLAVE IO_THREAD;
use lucky;
select * from usertb;
mysql> select * from usertb; 打开服务后数据会很快的传输到备库中去的。
+----------+----------+
| username | password |
+----------+----------+
| user1 | 2333 |
| user2 | 0 |
| user7 | 7 |
+----------+----------+
5 rows in set (0.00 sec)
这样就达到mysql的半同步复制,能更好的提升用户的感受和使用体验。
MYSQL的组复制(高可用)
所有集群中的机器都可以单独写入,同步集群中其他机器中的数据库数据。当一台机器宕机时,随时都有其他服务机上线使用。
首先需要将原始的auto.cnf下uuid这个数据文件保留上,然后删除掉mysql下的所有文件资料。
vim /etc/my.cnf
改写mysql的主配置文件,添加高可用所需要的插件及其策略。
server_id=1
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE #关闭binlog校验
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW #组复制依赖基于行的复制格式
transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="57cec957-9d0d-11e9-826a-525400f2e74a" 这个就是之前保留的auto.cnf的uuid文件071eef68-9e06-11e9-a02b-525400b18418
loose-group_replication_start_on_boot=off
loose-group_replication_local_address= "172.25.66.2:24901"
loose-group_replication_group_seeds= "172.25.66.2:24901,172.25.66.3:24901,172.25.66.4:24901"
loose-group_replication_bootstrap_group=off ##插件是否自动引导,这个选项一般都要off掉,只需要由发起组复制的节点开启,并只启动一次,如果是on,下次再启动时,会生成一个同名的组,可能会发生脑裂
loose-group_replication_ip_whitelist="127.0.0.1,172.25.66.0/24"
loose-group_replication_enforce_update_everywhere_checks=ON
loose-group_replication_single_primary_mode=OFF #后两行是开启多主模式的参数
[root@lucky2 mysql]# systemctl start mysqld
查看原始密码并且后续进行更改密码
[root@lucky2 mysql]# cat /var/log/mysqld.log | grep password
登陆lucky2数据库,添加高可用所用的资源
[root@lucky2 mysql]# mysql -uroot -p
mysql> alter user root@localhost identified by'Westos+123'; 修改密码
Query OK, 0 rows affected (0.39 sec)
mysql> SET SQL_LOG_BIN=0; #关闭二进制日志,防止传到其他server上
Query OK, 0 rows affected (0.00 sec)
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Westos+123';
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
mysql> SET SQL_LOG_BIN=1; #开启日志
Query OK, 0 rows affected (0.00 sec)
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Westos+123' FOR CHANNEL 'group_replication_recovery';
Query OK, 0 rows affected, 2 warnings (0.33 sec)
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
Query OK, 0 rows affected (0.10 sec)
mysql> SET GLOBAL group_replication_bootstrap_group=ON; #组复制发起节点开启这个参数
Query OK, 0 rows affected (0.00 sec)
mysql> START GROUP_REPLICATION;
Query OK, 0 rows affected (2.53 sec)
mysql> SET GLOBAL group_replication_bootstrap_group=OFF;
Query OK, 0 rows affected (0.00 sec)
mysql> SELECT * FROM performance_schema.replication_group_members; ##查看lucky2是否online
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| group_replication_applier | 07dc897e-9d2f-11e9-b122-525400f2e74a | lucky2 | 3306 | ONLINE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
1 row in set (0.00 sec)
exit 退出
编写好的mysqld主配置文件发送给其他的组复制集群,其他的组复制集群也都需要将mysql下载安装的
[root@lucky2 mysql]# scp /etc/my.cnf lucky3:/etc/
[root@lucky2 mysql]# scp /etc/my.cnf lucky4:/etc/
lukcy3中
[root@lucky3 mysql]# systemctl stop mysqld
[root@lucky3 mysql安装包]# cd /var/lib/mysql
[root@lucky3 mysql]# ls
auto.cnf ib_logfile0 master.info relay-log.info
ca-key.pem ib_logfile1 mysql server-cert.pem
ca.pem ibtmp1 mysql.sock server-key.pem
client-cert.pem lucky mysql.sock.lock sys
client-key.pem lucky3-relay-bin.000003 performance_schema
ib_buffer_pool lucky3-relay-bin.000004 private_key.pem
ibdata1 lucky3-relay-bin.index public_key.pem
[root@lucky3 mysql]# rm -rf * 删除之前所做的资源
[root@lucky3 mysql]# ls
将主库发送来的mysql配置文件改写一下
[root@lucky3 mysql]# vim /etc/my.cnf
server-id=2
loose-group_replication_local_address= "172.25.18.3:24901" 只需要改本机器的服务ip和备库的id
[root@lucky3 mysql]# systemctl start mysqld
修改lucky3的初始化密码,登陆数据库
[root@lucky3 mysql]# cat /var/log/mysqld.log | grep password
[root@lucky3 mysql]# mysql -uroot -p
mysql> alter user root@localhost identified by 'Westos+123';
Query OK, 0 rows affected (0.10 sec)
mysql> SET SQL_LOG_BIN=0;
Query OK, 0 rows affected (0.00 sec)
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Westos+123';
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
Query OK, 0 rows affected (0.01 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.01 sec)
mysql> SET SQL_LOG_BIN=1;
Query OK, 0 rows affected (0.00 sec)
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Westos+123' FOR CHANNEL 'group_replication_recovery';
Query OK, 0 rows affected, 2 warnings (0.31 sec)
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
Query OK, 0 rows affected (0.22 sec)
mysql> START GROUP_REPLICATION;
ERROR 3092 (HY000): The server is not configured properly to be an active member of the group. Please see more details on error log. 这个报错是自己踩过的一个坑。报错是必会有的,查看mysql日志,找到解决办法
重新登陆,解决报错
mysql> STOP GROUP_REPLICATION;
Query OK, 0 rows affected (0.00 sec)
mysql> set global group_replication_allow_local_disjoint_gtids_join=on; #直接做这一步 不用等报错
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> START GROUP_REPLICATION; 恢复正常
Query OK, 0 rows affected, 1 warning (6.71 sec)
配置 lucky4;
lucky4的配置和lucky3的文件配置和操作过程都是一样的,只需要更改默认配置文件里的servr-id 和loose-group_replication_local_address 就行,所以不过多叙述。
配置好后在lucky2上查看
mysql> SELECT * FROM performance_schema.replication_group_members;
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| group_replication_applier | 27142537-9e20-11e9-a3b9-5254006ed6b5 | lucky2 | 3306 | ONLINE |
| group_replication_applier | 4a392812-9e21-11e9-938f-525400d71970 | lucky4 | 3306 | ONLINE |
| group_replication_applier | a56315ef-9e20-11e9-9bb4-52540079ec92 | lucky3 | 3306 | ONLINE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
3 rows in set (0.00 sec)
看到3台都是online,表示正常,这时在任何一个节点都可以看到刚才插入的数据,在任何节点写入数据,其他节点也能看到
检测:
在lucky2上设置的数据lucky4也是可以看到。
这样就是达到了mysql 祖复制的效果了