MySQL 5.7 双主复制+keepalived,常规业务一般够用了

MySQL+KeepAlived实现双主高可用方案实践 目录 1、什么叫双主高可用(双机热备) 2、搭建主主同步 3、配置MySQL+Keepalived故障转移的高可用环境 4、测试 5、MyCAT双主高可用 5.1 架构图 5.2 准备环境 5.3 高可用配置 1、什么叫双主高可用(双机热备) 我们通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短。MySQL双主复制,即互为Master-Slave(只有一个Master提供. 阅读详情

业务需求:

为Zabbix搭建2个数据库,一个库给服务器监控用,一个库给网络监控用。

硬件:

两台服务器,硬盘是1.2 T SSD卡,内存128G

架构:

希望做双主复制+keepalived,架构大概如下图

主机A IP:192.168.1.2

主机B IP:192.168.1.3

VIP:192.168.1.4

一、首先安装MySQL 5.7

到下面的url下载你操作系统对应的yum包

http://dev.mysql.com/downloads/repo/yum/

运行下面两个命令安装

rpm -ivh mysql57-community-release-el6-8.noarch.rpm 

yum -y install mysql.x86_64 mysql-server.x86_64 mysql-devel.x86_64

二、做一些简单的优化工作

echo "noop" > /sys/block/nvme0n1/queue/scheduler

等等

三、配置/etc/my.cnf

核心工作也就是这个了,因为5.7的变化比较大,我简答列一些我的配置说明一下。

character_set_server=utf8

max_connections = 5000

max_connect_errors = 200000

transaction_isolation = READ-COMMITTED

explicit_defaults_for_timestamp = 1

tmp_table_size = 67108864

max_allowed_packet = 16777216

interactive_timeout = 57600  //老报超时,我就设置大了一点

wait_timeout = 57600  //老报超时,我就设置大了一点

read_buffer_size = 16777216

read_rnd_buffer_size = 33554432

sort_buffer_size = 134217728

join_buffer_size = 134217728

query_cache_size = 0

query_cache_type = 0

server-id = 1  //另外一台设置为2

auto_increment_increment=2

auto_increment_offset=1 //另外一台设置为2

binlog-do-db = nzabbix

binlog-do-db = szabbix

binlog-ignore-db = monitor_db

replicate-do-db = nzabbix //需要同步的数据

replicate-do-db = szabbix //需要同步的数据

replicate-ignore-db = mysql

replicate-ignore-db = sys

replicate-ignore-db = monitor_db  //用来看Mysql用的一个库

slave-skip-errors=all  //害怕遇到错误停止同步,忽略所有错误

sync_binlog = 0 //zabbix数据不是很重要,容许crash丢数据

master_info_repository = TABLE

relay_log_info_repository = TABLE

gtid_mode = on  //开启gtid,这是一个新特性,我们的复制是基于GTID的,所以打开

enforce_gtid_consistency = 1

binlog_gtid_simple_recovery = 1

log-slave-updates

# slave

slave-parallel-type = LOGICAL_CLOCK

slave-parallel-workers = 0  //日志老报一个错误,先关闭并行了

#slave-parallel-workers = 16

########innodb settings########

innodb_buffer_pool_size = 100G //内存的75%比较合适

innodb_buffer_pool_instances = 16

innodb_buffer_pool_load_at_startup = 1

innodb_buffer_pool_dump_at_shutdown = 1

innodb_lru_scan_depth = 2000

innodb_lock_wait_timeout = 10000

innodb_io_capacity = 4000

innodb_io_capacity_max = 8000

innodb_flush_method = O_DIRECT

innodb_flush_neighbors = 1

innodb_log_file_size = 4G

innodb_log_buffer_size = 16777216

innodb_purge_threads = 4

innodb_large_prefix = 1

innodb_thread_concurrency = 64

innodb_print_all_deadlocks = 1

innodb_strict_mode = 1

innodb_sort_buffer_size = 67108864 

innodb_flush_log_at_trx_commit = 2

innodb_read_io_threads = 16

innodb_write_io_threads = 16 

[mysqld-5.7]

innodb_buffer_pool_dump_pct = 40

innodb_page_cleaners = 4

innodb_undo_log_truncate = 1

innodb_max_undo_log_size = 2G

innodb_purge_rseg_truncate_frequency = 128

binlog_gtid_simple_recovery=1

log_timestamps=system

transaction_write_set_extraction=MURMUR32

show_compatibility_56=on


上面只是配置的一部分,大家可以自己网上查查资料补全,另外一台要改的地方我已经在上面标注了。

比较关键的是GTID:

Gtid是从5.6开始推出的杀手级特性,通过GTID特性,极大的提升了主备切换的效率和一致性。

在MySQL5.7.5里引入了一个新的系统表GTID_EXECUTED:

表的描述参考官方文档:

http://dev.mysql.com/doc/refman/5.7/en/replication-gtids-concepts.html#replication-gtids-gtid-executed-table

对应worklog: http://dev.mysql.com/worklog/task/?id=6559

四、初始化目录

5.7已经不用mysql_install_db初始化了,已经改成下面这个命令了

mysqld --initialize --datadir=/data0/mysql/

chmod -R 755 /data0/mysql/

chown -R mysql.mysql /data0/mysql/

五、设置密码

5.7比较讨厌,初始密码不为空了,也可以说安全性更高了。

初始化密码在初始化日志里

grep "temporary password" error.log

如果你登录mysql想修改密码可能会报错

errROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.

为了以后不麻烦,顺手降低密码策略。

mysql > SET GLOBAL  validate_password_policy='LOW'; 

mysql > alter user 'root'@'localhost' identified by 'your-password';

mysql > flush privileges; 

如果mysql和mysqladmin密码行带密码可能还会出现一个Warning

mysql -u root -p password 'your-password' 

mysql: [Warning] Using a password on the command line interface can be insecure.

解决方案有多种,可以参考:

http://www.quwenqing.com/read-247.html

其中的一种解决方案最靠谱

export MYSQL_PWD=password

但是这个错误提示非常讨厌,命令行没有参数可以关闭,我又不想在my.cnf里写密码。你会发现zabbix监控mysql的数据出来都是这个提示,我们还需要把mysql监控的shell里的命令行带密码的改成export这种形式。

六、设置数据同步

A和B上同时添加同步用户

use mysql;

create user 'repl'@'192.168.1.%' identified by 'your-password';

GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.1.%'; 

flush privileges;

锁一下表,追平两台机器数据,然后解锁。

先看看GTID是否打开

mysql> show global variables like '%gtid%';

+--------------------------+-------+

| Variable_name            | Value |

+--------------------------+-------+

| enforce_gtid_consistency | ON    |

| gtid_executed            |       |

| gtid_mode                | ON    |

| gtid_owned               |       |

| gtid_purged              |       |

+--------------------------+-------+

5 rows in set (0.10 sec)

说明gtid功能已启动。

GTID同步数据不用再记录对方的log文件和位置了,用master_auto_position=1就行,不过你用老的方法查看master的logfile和logpos,同步也是可以的。

在A和B上都运行

mysql> change master to master_host='192.168.1.2', master_user='repl',master_password='your-password',master_auto_position=1;

Query OK, 0 rows affected, 2 warnings (0.24 sec)

mysql> start slave;

Query OK, 0 rows affected, 1 warning (0.04 sec)

mysql> start slave;

在A和B上查看同步状态

show slave status\G

#表示同步的文件和位置

Master_Log_File: mysql-bin.000035

Read_Master_Log_Pos: 895597105

#显示下面表示工作正常

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

#表示当前同步的数据库

Replicate_Do_DB: nzabbix,szabbix

双主复制比较简单,总结一下就是:

安装MySQL->优化系统->优化配置my.cnf->初始化mysqld->添加同步用户->开始同步->查看同步状态。

六、keepalived的安装和设置

keepalived安装比较简单

yum install keepalived

设置日志

cat /etc/sysconfig/keepalived

KEEPALIVED_OPTIONS="-D -d -S 0"

在rsyslog.conf最后添加

local0.*                                                /var/log/keepalived.log

重启rsyslog和keepalived

keepliaved的配置也很简单

global_defs {

   notification_email {

         dz@dz.com

   }

   router_id MySQL-ha85

}

vrrp_script check_run {

   script "/data0/keepalived_check_mysql.sh"     #监控MySQL的脚本

   interval 3

}

vrrp_sync_group VG1 {

    group {

          VI_1

    }

}

vrrp_instance VI_1 {

    state BACKUP

    interface eth0                  #指定虚拟IP的网络接口

    virtual_router_id 85   #VRRP组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP组

    priority 100                 #主节点的优先级(1-254之间),备用节点必须比主节点优先级低。

    advert_int 1                 #组播信息发送间隔,两个节点设置必须一样

   nopreempt  

    authentication {             #设置验证信息,两个节点必须一致

        auth_type PASS

        auth_pass 1111

    }

    track_script {

        check_run

    }

    virtual_ipaddress {

        192.168.1.4       #虚拟IP,对外提供MySQL服务的IP地址

    }

}

另外一台优先级设置底一点就可以,也可以设置为MASTER-BACKUP,看你自己的切换需求了。

/data0/keepalived_check_mysql.sh的作用是检查当前Mysql是否正常工作

我在里面做了一个写操作,来判断MySQL是否正常

 $MYSQL -h $MYSQL_HOST -u $MYSQL_USER -e "use monitor_db;UPDATE monitor_db SET CreateDate=NOW() WHERE ID=1;" >/dev/null 2>&1

我还写了一个程序放到cron里,每分钟运行一次,为啥要这么干?主要我一重启MySQL,就会发生自动杀掉keepalived,并且IP飘走,这时候如果MySQL重启好了,keepalived不能自己启动。程序如下:

if [ ! -z "$(/bin/ps aux|grep -v grep|grep 'mysqld --basedir')" ];then

        echo "mysqld is running"

        if [ -z "$(/bin/ps aux|grep -v grep|grep '/usr/sbin/keepalived ')" ];then

                echo "keepalived is not running"

                service keepalived restart

        fi

fi

就是判断如果MySQL还活着,就启动keepalived,不过这块代码有点简陋,理论上应该判断MySQL是否还活着,并且可以写数据,再启动keepalived。

这套MySQL双主复制+keepalived 架构其实可以适用于各种业务,大家可以灵活使用,扩展也很方便

Apollo和autoware规划算法代码ros移植-路径规划可跑工程分享 Apollo6.0规划核心代码移植到Ros工程,可编译移植分享 阅读详情

相关推荐

MFC停靠窗口实战:CDockablePane从创建到控件布局的完整指南(附残影问题排查)

本文提供了MFC中CDockablePane停靠窗口的完整实战指南,涵盖从自定义窗格类创建、主框架集成、内部控件布局到高级功能定制的全过程。针对开发中常见的“残影”视觉问题,文章深入剖析了其根源,并给出了系统性的排查步骤与解决方案,帮助开发者构建稳定、专业的可停靠用户界面。

sun99的博客 615

MySQL 双主复制+keepalived高可用架构

mysql双主互备加上keepalived,在其中一台机器上绑定虚拟IP(vip)。利用VIP统一对外服务有,可以避免在两个节点同时写数据造成冲突。同时,当keepalived主节点发生故障时,利用keepalived自带的服务监控功能和自定义脚本实现mysql故障自动切换,并将vip切换到备节点,实现高可用。mysql双主复制+keepalived架构是一种简单、便捷高可用方案,使用于各种业务。

m0_72093175的博客 1324

Ruoyi-Cloud-Plus新手必看:Gateway启动失败的两种解决方案(Nacos配置空间问题)

本文详细解析了Ruoyi-Cloud-Plus框架中Gateway启动失败的常见原因及解决方案,重点围绕Nacos配置空间问题展开。针对新手开发者,提供了两种实用方案:快速切换到public空间或规范创建dev空间并迁移配置,帮助开发者高效解决网关启动故障,确保微服务项目顺利运行。

weixin_30872499的博客 493

MySQL(GDIT双主复制)+Keepalived实现MySQL高可用

传统的单节点 MySQL 架构在面对硬件故障、软件异常等问题时,往往显得力不从心,无法满足企业对高可用性的严苛要求。为解决这一痛点,MySQL (GDIT 双主复制) 结合 Keepalived 的高可用方案应运而生。​本文将深入剖析这一方案的实现原理、部署步骤及关键配置,旨在为技术人员搭建稳定、高效的 MySQL 高可用环境提供全面且实用的指导。其实在实现双主复制的时候使用的思路就是相互为对方的主从关系两台服务器防火墙需要关闭(实际环境中可以指定端口关闭防火墙) 实现过程 1.mysql-01服务器

lhy123100的博客 1810

机器学习中正则化项L1和L2的直观理解

正则化(Regularization) 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型,使用L1正则化的模型建叫做...

小平子的专栏 43万+

VS2019+EasyX图形库实战:手把手教你用C语言打造消消乐小游戏(附完整源码)

本文详细介绍了如何使用VS2019和EasyX图形库从零开始构建一个C语言消消乐小游戏。通过环境配置、数据结构设计、界面绘制、交互实现到游戏逻辑完善的完整流程,帮助开发者掌握图形编程和游戏开发的核心技巧,并附有完整源码供参考。

bush的博客 187

配置MySQL5.7基于keepalived的GTID的双主复制

配置MySQL5.7基于GTID的双主复制 一、 安装前规划 1.1 大体架构规划如下 Master1/Slave 192.168.9.71:3306 Master2/Slave 192.168.9.72:3306 数据库搭建过程请参考《my...

weixin_30851867的博客 225

闲置服务器之代理服务器篇

这台服务器是在阿里云免费白嫖的,天工开物计划,阿里给的300块无门槛优惠券,买了一台新加坡的境外服务器,288,刚刚抵扣完,因为是境外服务器,能够访问一些国内不能访问的网站,所以本文章仅从技术的角度来搭建代理服务器,使用时,请自觉遵守国家相关规定,如有任何违法行为,与本人无任何关系!!!。本文使用tinyproxy来搭建代理服务器。

m0_50281408的博客 2108

Keepalived + LVS + MySQL 双主复制实现读写负载均衡及高可用

Keepalived 和 LVS 简介、安装配置、测试、总结

wzy0623的专栏 7553

Revit二次开发之双事件:空闲事件与DocumentChanged事件

对以下文章所展示的代码进行了修改,当前展示的代码可直接复制使用。 由于本人初学,下列语言为个人理解,如有错误请指正。   《引用1》中: 使用模态对话框,或者尽量保证事件在ExternalCommand的Execute函数或者ExternalApplication的OnStartup函数里面注册。 如果一定要使用非模态对话框,那么请使用ExternalEvent事件的Raise函数,强迫...

一个Revit二次开发的实习生 6149

AutoSar标准官网下载

AutoSar文档下载和文档命名格式。。。

m0_56208280的博客 3537

MySQL双主复制

MySQL的双主复制(Master-Master Replication)是一种数据库复制架构,它允许两个MySQL服务器实例互为对方的主服务器和从服务器,实现数据的双向同步。:在双主复制架构中,任何一台服务器出现故障时,另一台服务器可以立即接管所有的读写操作,从而保证业务的连续性和数据的可用性。:在双主复制架构中,如果一个主服务器发生故障,可以快速将服务请求切换到另一个主服务器,实现故障转移,减少故障处理时间。:数据在两个主服务器上都有备份,提高了数据的安全性,即使一个服务器发生故障,数据也不会丢失。

m0_73679210的博客 1092

从 VL02N 拣配到 ABAP 自动化,读懂 SD_DELIVERY_UPDATE_PICKING 的位置和风险

文章摘要:SAP SD模块中,SD_DELIVERY_UPDATE_PICKING函数模块用于处理出库交货单的拣配确认,更新交货项目的拣配数量。该函数适用于未启用WM/EWM的传统SD流程,能确保拣配状态与标准交货处理逻辑同步,比直接修改数据库更安全。但在S/4HANA Cloud等新环境中,应优先使用API_OUTBOUND_DELIVERY_SRV等公开发布接口。使用该函数时需注意参数完整性和按交货单整体处理的原则,避免逐项提交导致的数据不一致问题。(149字)

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 248

mysql5.7.24 gtid双主复制+atlas+keepalived

一环境介绍: 系统: centos7 [root@mgr01 ~]# cat /etc/hosts 10.0.0.6 pxc01 10.0.0.7 pxc02 [root@pxc02 ~]# cat /etc/hosts 10.0.0.6 pxc01 10.0.0.7 pxc02 关闭selinux:vim /etc/sysconfig/selinuxgetenforce 保证服务器时间同步:...

weixin_33794672的博客 5273

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

keepalived+MySQL实现高可用

keepalived+MySQL实现高可用

weixin_37266841的博客 2424

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

mysql5.7 keepalived_Mysql 5.7 集群部署,keepalived

参考文章:1,配置环境两个节点,vcpu8个,内存8G,磁盘16G操作系统:Centos7.5最小化安装A节点IP地址:172.16.103.14 node1B节点IP地址:172.16.103.15 node2VIP:172.16.103.16关闭selinux和防火墙2,查看是否已经存在数据库,如果已经存在则卸载rpm -qa |grep mysql ...

weixin_39681724的博客 226

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Mysql5.7主主双主复制配置+keepalived实现高可用

Mysql主主双主复制互为主从配置。 两台服务器: 服务器A: 192.168.1.100 服务器B:192.168.2.100 首先下载 mysql-5.7.28 下载完之后,解压: tar -zxvf mysql-5.7.28-linux-glibc2.12-x86_64.tar.gz mv mysql-5.7.28-linux-glibc2.12-x86_64 mysql-5.7.28 添加用户和组 : groupadd mysql useradd -g mysql mysql 建立数据目录:

LeoHan 513

keep alived + MySQL 双主复制

MySQL双主复制 双主复制的原理 双主复制的优缺点 双主复制的 keepalived keepalived 原理 keepalived 部署

南极月光的博客 1019

keepalived + HAProxy + mysql高可用

本次搭建目的是使用 haproxy + keepalived + mysql(双主复制) 搭建 mysql 高可用集群,使用 keepalived 监控 haproxy 和 mysql 状态,如果 haproxy 服务异常则将 VIP 漂移到另外的机器上。参考:MySQL 双主复制参考:HAProxy 安装HAProxy 学习下面是本次试验使用的配置文件信息 4. 安装 keepalived 这里直接使用 yum 安装 4.1 修改配置文件 主备基本差不多,主要注意 这三个参数 这里有一个问题, 能不能配

D的博客 3756

mysql8 keepalived_mysql学习-mysql8.0配置双主复制+keepalived实现高可用架构

1、mysql双主复制介绍双主复制,就是相互做主从复制,每个master既是master又是另外一台服务器的slave。这样,任何一方所做的变更,都会通过复制应用到另外一方的数据库中。主从复制涉及三个线程,一个运行到主节点(log dump thread),其余两个(I/O thread,SQL thread)运行在从节点,如下所示:i/o线程去请求主库 的binlog,并将得到的binlog日志...

weixin_39548438的博客 947

mysql学习-mysql8.0配置双主复制+keepalived实现高可用架构

一般小型公司数据库,使用主从复制即可保证数据库的高可用,但是一旦主数据库故障,切换到从库需要一定的时间,这样就导致了停机时间过长,不能及时恢复业务。使用双主(master)配合keepalived这种mysql高可用架构也是基于主从复制的原理而搭建的。这是一种简单、便捷的解决方案,在高可用集群环境中,keepalived使用vip,利用keepalived自带的服务监控功能和自定义脚本来实现mys...

weixin_33884611的博客 1928
上一篇: Redis和Memcached的区别
下一篇: MySQL索引原理及慢查询优化
ToryCode
博客等级 码龄3年 44粉丝 130原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值