MasterHA实现MySQL主服务器高可用

简介：

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。

目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从。另外对于想快速搭建的可以参考：MHA快速搭建

我们自己使用其实也可以使用1主1从，但是master主机宕机后无法切换，以及无法补全binlog。master的mysqld进程crash后，还是可以切换成功，以及补全binlog的。

官方介绍：https://code.google.com/p/mysql-master-ha/

MHA工作原理总结为如下：
（1）从宕机崩溃的master保存二进制日志事件（binlog events）;

（2）识别含有最新更新的slave；

（3）应用差异的中继日志（relay log）到其他的slave；

（4）应用从master保存的二进制日志事件（binlog events）；

（5）提升一个slave为新的master；

（6）使其他的slave连接新的master进行复制；

MHA软件由两部分组成，Manager工具包和Node工具包，具体的说明如下。

Manager工具包主要包括以下几个工具：
masterha_check_ssh 检查MHA的SSH配置状况
masterha_check_repl 检查MySQL复制状况
masterha_manger 启动MHA
masterha_check_status 检测当前MHA运行状态
masterha_master_monitor 检测master是否宕机
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的server信息

Node工具包（这些工具通常由MHA Manager的脚本触发，无需人为操作）主要包括以下几个工具：
save_binary_logs 保存和复制master的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的slave
filter_mysqlbinlog 去除不必要的ROLLBACK事件（MHA已不再使用这个工具）
purge_relay_logs 清除中继日志（不会阻塞SQL线程）

注意：
为了尽可能的减少主库硬件损坏宕机造成的数据丢失，因此在配置MHA的同时建议配置成MySQL的半同步复制。（不是必须）

实验环境：

[root@centos7 ~]#cat /etc/centos-release
CentOS Linux release 7.5.1804 (Core) 

[root@centos7 ~]#mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 11
Server version: 8.0.13 MySQL Community Server - GPL

mha4mysql-node-0.58-0.el7.centos.noarch.rpm
mha4mysql-manager-0.58-0.el7.centos.noarch.rpm
注意：mha4mysql-0.58版本新增super_read_onyl功能，只能用于MySQL5.6以上的版本
MariaDB无此功能，只能使用mha4mysql-0.56版本

MHA集群需要最少3台后端数据库服务器，本实验一共四台主机，node1为主服务器，node2,node3为从服务器，node4为mha服务器。

在node1,node2,node3上
[root@centos7 ~]#yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

在node4上
[root@centos7 ~]#yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

[root@centos7 ~]#yum install -y mha4mysql-manager-0.58-0.el7.centos.noarch.rpm

实现四台主机间ssh免密通信
[root@localhost ~]#ssh-keygen		#生成密钥对

[root@localhost ~]#ssh-copy-id root@192.168.91.139		#在本机生成认证文件

[root@localhost ~]#scp .ssh/* 192.168.91.130:~/.ssh/		#其余三台主机都复制一份

搭建MySQL主从架构
在node1
[root@localhost ~]#vim /etc/my.cnf
[mysqld]
port                           = 3306
datadir                        = /data/mysql
socket                         = /tmp/mysql.sock
pid-file                       = /tmp/mysqld.pid
default-authentication-plugin  =mysql_native_password
skip_name_resolve=on
innodb_file_per_table=on
log_bin=bin-log
server_id=1
relay_log=relay-log
relay_log_purge=0


mysql> show master logs;
+----------------+-----------+
| Log_name       | File_size |
+----------------+-----------+
| bin-log.000001 |       178 |
| bin-log.000002 |       155 |
+----------------+-----------+

创建mha账号
mysql> create user 'kej'@'192.168.91.%' identified by '122333';

mysql> grant all on *.* to 'kej'@'192.168.91.%';
创建主从复制账号
mysql> create user 'repluser'@'192.168.91.%' identified by '122333';

mysql> grant replication slave,replication client on *.* to 'repluser'@'192.168.91.%';

mysql> flush privileges;

在node2,node3
[root@localhost /usr/local/mysql/bin]#vim /etc/my.cnf
[mysqld]
port                           = 3306
datadir                        = /data/mysql
socket                         = /tmp/mysql.sock
pid-file                       = /tmp/mysqld.pid
default-authentication-plugin  =mysql_native_password
server_id=2		#node3为3
relay_log_purge=off
innodb_file_per_table=on
skip_name_resolve=on
relay_log=relay-log
log_bin=bin-log		#正常情况从节点不用打开二进制日志，但是这里有可能升级成为主节点，所以要开启

mysql> CHANGE MASTER TO  MASTER_HOST='192.168.91.139',  MASTER_USER='repluser',  MASTER_PASSWORD='122333', MASTER_PORT=3306,  MASTER_LOG_FILE='bin-log.000002',  MASTER_LOG_POS=155,  MASTER_CONNECT_RETRY=10;

mysql> start slave;

mysql> show slave status\G

mysql> select user,host from mysql.user;
+------------------+--------------+
| user             | host         |
+------------------+--------------+
| kej              | 192.168.91.% |
| repluser         | 192.168.91.% |

在node4
[root@centos7 ~]#mkdir /etc/mastermha/ -pv

[root@centos7 ~]#mkdir -pv /data/mastermha/app1/

[root@centos7 ~]#vim /etc/mastermha/app1.cnf 
[server default]
user=kej		#mha管理用的账号
password=122333
manager_workdir=/data/mastermha/app1/
master_binlog_dir=/data/mysql		#主服务器二进制文件文职
manager_log=/data/mastermha/app1/manager.log
remote_workdir=/data/mastermha/app1/
ssh_user=root
repl_user=repluser		#主从复制账号
repl_password=122333
ping_interval=1		#从主探测时间
[server1]
hostname=192.168.91.139
candidate_master=1		#有可能变成主服务器
[server2]
hostname=192.168.91.137
candidate_master=1
[server3]
hostname=192.168.91.132

[root@centos7 ~]#masterha_check_ssh --conf=/etc/mastermha/app1.cnf				#ssh检查

[root@centos7 ~]#masterha_check_repl --conf=/etc/mastermha/app1.cnf			#主从间复制检查

[root@centos7 ~]#masterha_manager --conf=/etc/mastermha/app1.cnf			#启动mha,为前台执行

把主服务器node1关掉，发现主服务器自动变成node2
查看mha日志
[root@centos7 ~]#cat /data/mastermha/app1/manager.log
----- Failover Report -----

app1: MySQL Master failover 192.168.91.139(192.168.91.139:3306) to 192.168.91.137(192.168.91.137:3306) succeeded

Master 192.168.91.139(192.168.91.139:3306) is down!

Check MHA Manager logs at centos7:/data/mastermha/app1/manager.log for details.

如果此时重启mha,会启动失败。提示node1必须在线
Tue May 21 17:32:37 2019 - [error][/usr/share/perl5/vendor_perl/MHA/ServerManager.pm, ln492]  Server 192.168.91.139(192.168.91.139:3306) is dead, but must be alive! Check server settings.

启动node1,然后重启mha，会启动失败。提示有两个非从服务器，mha最多支持一台非从服务器
Tue May 21 17:37:03 2019 - [error][/usr/share/perl5/vendor_perl/MHA/ServerManager.pm, ln653] There are 2 non-slave servers! MHA manages at most one non-slave server. Check configurations.

把node1配置成为从服务器，然后mha就可以正常启动了

注意：每次启动mha前都要
[root@centos7 ~]#rm -rf /data/mastermha/app1/app1.failover.complete
否则主服务器挂掉时，不会把从自动提升为主