LVS+Keepalived高可用负载均衡集群

脑袋好痒，要长情丝了

已于 2023-04-26 10:14:09 修改

阅读量592

点赞数

文章标签：负载均衡 lvs 服务器

于 2023-04-26 09:15:42 首次发布

本文链接：https://blog.youkuaiyun.com/xyjmh/article/details/130370207

版权

1.Keepalived

vlan是干什么用的？

在交换机逻辑划分广播域

可用vlan:1-4094

组播地址：224.0.0.18

协议号：112

2.一个健康的集群的特点？

（1）实现负载均衡

（2）实现健康检查（对调度器以及节点服务器健康检查）

别名：探针健康检查方式：心跳消息检查（pin/pang）

tcp端口检查 HTTP URL检查

（3）实现故障切换

keepalived健康检查故障切换工具为LVS设计

3.keepalived使用什么协议成热备份？

使用VRRP协议（虚拟路由冗余协议）

core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

vrrp模块：是来实现VRRP协议的。（调度器之间的健康检查和主备切换）

check模块：负责健康检查，常见的方式有端口检查及URL检查。（节点服务器的健康检查）

如何确定主从？

第一个比较优先级第二个IP地址大谁是主

4.keepalived工作原理？

由优先级决定服务器的贮备角色，master服务器会生成VIP地址，客户端会把访问请求，发送给VIP，由master服务器接收用户的请求。

master服务器会定期给backup服务器法报文，来告知master服务器正常。

当backup在超时时间内没有收到master服务器会认为master异常，此时会通过IP命令生成VIP，接替MASTER工作的请求。

keepalived健康检查故障切换

问题：

5.如何设置非抢占模式？
抢占模式：
非抢占模式：
如过设置非抢占模式，两个节点state必须为backup，并加上配置nopreempt
抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP非抢占式俩节点state必须为bakcup，且必须配置nopreempt。注意:这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。

6.Keepalived通过什么判断哪台主机为主服务器,通过什么方式配置浮动IP?
Keepalived首先做初始化先检查state状态，master为主服务器，backup购备服务器。
然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
优先级高的服务器会通过ip命令为自己的电脑配置一个提前定义好的浮动IP地址。

7.如果出现脑裂现象怎么办？
高可用集群的脑裂现象及其诱发原因
在"双机热备"高可用（HA）系统中，当联系两个节点的"心跳线"断开时(即两个节点断开联系时)，本来为一个整体、动作协调的HA系统，就分裂成为两个独立的节点(即两个独立的个体)。由于相互失去了联系，都以为是对方出了故障，此时备用调度器会运转起来争做主调度器的工作，而主调度器依然保持着调度工作，两个调度的同时运转导致整个系统的紊乱。就会发生严重后果：（1）共享资源被瓜分、两边"服务"都起不来了.(2）或者两边"服务"都起来了，但同时读写"共享存储"，导致数据损坏（常见如数据库轮询着的联机日志出错）。

产生脑裂的常见原因

硬件原因：

1. 高可用服务器各节点之间心跳线链路发生故障，导致无法正常通信。
2. 因心跳线坏了（包括断了，老化）。
3. 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
4. 因心跳线间连接的设备故障（网卡及交换机）。
5. 因仲裁的机器出问题（采用仲裁的方案）。

运用配置原因：

6. 高可用服务器上开启了iptables防火墙阻挡了心跳消息传输。
7. 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败。
8. 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等

9. Keepalived配置里同一VRRP实例如果virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

脑裂预防预防措施

针对脑裂现象的产生，运维人员第一时间要做的不是处理发生故障的调度器或则故障线路，而是首先确保业务不会因此中断，进行脑裂的预防尤为重要。出现问题，先保证业务的进行，再进行排障。

方式一：添加冗余的心跳线
添加冗余的心跳线支持HA多线路的进行，在多线路的加持下，一条线路故障后，也会有其余的线路也可传输心跳信息，让主备调度器继续保持正常运转。此方案可减少脑裂产生的概率。

方式二：脚本配合周期任务计划检测，调度器自我裁决

脑裂分析：产生脑裂的最主要最常见的原因是备调度器接收不到主调度器的的心跳信息。首先调度器大多数情况下都会是在统一局域网中，是通过网络来进行心跳信息的传送。所以心跳信息的检测可以基于icmp协议来进行检测

脚本思路：

如下图：若产生脑裂时我们需要探究的是通过脚本预测是1号线路的问题还是2号线路的问题。所以本次脚本的编写只要能判断出哪条线路产生问题后，进行相应的裁决就可以在脑裂产生的第一时间免除其带来的影响

（1）主调度器本身使用ping命令进行周期计划ping备用调度器，保证时刻畅通。

（2）采用条件判断语句，若主调调度器ping不通备调度器时，主调度器启用ssh服务远程借用节点服务器对备用调度器进行ping命令（可以多设置几台节点服务器ping，确保准确性）。若节点服务能ping通则说明问题出现在1号线路，主调度器进行自我裁决，让备调度器进行主调调度器的工作。若节点服务器也ping不通备调度器，说明问题出在了2号线路。

（3）可以在备调度器中也添加一个该方式的脚本，时刻ping主调度器。保证2号线出现问题时进行自我裁决。

（4）将主备调度器的脚本均添加周期计划任务中（crontab -e），进行合理的时间段检测。

方式三：第三方工具，监控软件

利用主流的监控软件，例如zabbix。当两个节点出现分歧时，由第3方的仲裁者决定听谁的。这个仲裁者，可能是一个锁服务，一个共享盘或者其它什么东西。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅"心跳"、还兼对外"服务"的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。

方式四：启用磁盘锁
正在服务一方锁住共享磁盘，"裂脑"发生时，让对方完全"抢不走"共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动"解锁"，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了"智能"锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。

底层基于VRRP协议

实验

步骤一：.配置负载调度器（主备相同）

通用配置

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

yum -y install ipvsadm keepalived
modprobe ip_vs
cat /proc/net/ip_vs
配置keeplived主备设置

快捷方式配置：由于备DR调度器只要一些参数与主DR调度器不同，可以使用scp命令将该配置文件传输给备DR调度器

先给被服务器备份因为scp过去会覆盖

备DR调度器需要修改的参数配置：

启动 ipvsadm 服务

调整 proc 响应参数，关闭Linux 内核的重定向参数响应（主备均配置）

步骤二：配置节点服务器

（1）通用配置
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

yum -y install httpd
systemctl start httpd