LVS+Keepalived的群集

Keepalived高可用功能实现的简单原理为，两台主机同时安装好Keepalived软件并启动服务，开始正常工作时，由角色为Master的主机获得所有资源并对用户提供服务，角色为Backup的主机作为Master主机的热备；当角色为Master的主机失效或出现故障时，角色为Backup的主机将自动接管Master主机的所有工作，包括接管VIP资源及相应资源服务；而当角色为Master的主机故障修复后，又会自动接管回它原来处理的工作，角色为Backup的主机则同时释放Master主机失效时它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。

Keepalived软件的官方站点是http://www.keepalived.org

2.3 实现 LVS 集群中节点的健康检查（Health Checking）

Keepalived可以通过在自身的Keepalived.conf文件里配置LVS的节点IP和相关参数实现对LVS的直接管理；除此之外，当LVS集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时，Keepalived服务会自动将失效的节点服务器从LVS的正常转发队列中清除出去，并将请求调度到别的正常节点服务器上，从而保证最终用户的访问不受影响；当故障的节点服务器被修复以后，Keepalived服务又会自动地把它们加入到正常转发队列中，对客户提供服务。

2.4 实现 LVS 负载调度器、节点服务器的高可用性（HA）

一般企业集群需要满足的三个特点：负载均衡、健康检查、故障切换，使用 LVS + Keepalived 完全可以满足需求。

2.5keepalived 高可用故障切换转移原理

keepalived 高可用服务对集群之间的故障切换转移，是通过 VRRP（虚拟路由器冗余协议）来实现的。
在 keepalived 服务正常工作时，主（Master）节点会不断地向备（Backup）节点发送（多播的方式）心跳消息，用以告诉备节点自己还活看，当主节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。而当主节点恢复时，备节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来的备用角色。

2.6、VRRP通信原理

1、VRRP也就是虚拟路由冗余协议，它的出现就是为了解决静态路由的单点故障。
2、VRRP是通过一种竞选协议机制来将路由任务交给某台VRRP路由器的。
3、VRRP用IP多播的方式（默认多播地址（224.0.0.18））实现高可用之间通信。
4、工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的资源。备节点可以有多个，通过优先级竞选，但一般Keepalived系统运维工作中都是一对。
5、VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。

三、keepalived脑裂及解决办法

3.1、keepalived脑裂

在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。

3.2、keepalived脑裂的原因

1、高可用服务器对之间心跳线链路发生故障，导致无法正常通信。如心跳线坏了（包括断了，老化）。
2、因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
3、因心跳线间连接的设备故障（网卡及交换机）。
4、因仲裁的机器出问题（采用仲裁的方案）。
5、高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
6、Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。
7、vrrp实例名字不一致、优先级一致。

3.3、keepalived脑裂的应对策略

1、添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率
2、启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
3、设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。
4、利用脚本检测、报警。

四、LVS+Keepalived的实验部署

4.1、实验准备

DR服务器(LVS)：主-192.168.20.15 备-192.168.20.16
tomcat1：192.168.20.11
tomcat2：192.168.20.12
VIP(虚拟回环)：192.168.20.180
NFS：192.168.20.17
客户端：192.168.20.100

4.2、配置负载调度器LVS(主192.168.20.15，备192.168.20.16)

安装ipvsadm工具
yum -y install ipvsadm

配置VIP地址(主192.168.20.180)
cd /etc/sysconfig/network-scripts

cp ifcfg-ens33 ifcfg-ens33:0

vim ifcfg-ens33:0

ifup ens33:0  #开启网卡

ifconfig

调整内核(proc)响应参数
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0  #关闭路由转发功能
 
net.ipv4.conf.all.send_redirects = 0 #下面都是关闭内核重定向功能
 
net.ipv4.conf.default.send_redirects = 0
 
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

配置负载分配
ipvsadm -C

ipvsadm -A -t 192.168.20.180:80 -s rr

ipvsadm -a -t 192.168.20.180:80 -r 192.168.20.11:80 -g   

ipvsadm -a -t 192.168.20.180:80 -r 192.168.20.12:80 -g

ipvsadm

ipvsadm-save > /etc/sysconfig/ipvsadm

LVS2（备192.168.20.16）相同配置（把上面再执行一遍）

4.3、部署共享存储（NFS：192.168.20.17）

安装nfs和rpcbind
yum -y install nfs-utils rpcbind

systemctl start nfs

systemctl start rpcbind

创建共享目录并设置权限
mkdir /opt/kgc /opt/benet

chmod 777 /opt/kgc /opt/benet

输入页面内容
echo "i am web1" > /opt/kgc/index.html
echo "i am web2" > /opt/benet/index.html

设置共享目录并发布共享
vim /etc/exports
/opt/kgc 192.168.20.0/24(rw,sync)
/opt/benet 192.168.20.0/24(rw,sync)

exportfs -rv

备lvs：192.168.20.16相同配置

4.4、部署节点服务器(tomcat1,tomcat2)

配置虚拟VIP地址(vip：192.168.20.180) 
cd /etc/sysconfig/network-scripts/

cp ifcfg-lo ifcfg-lo:0

vim ifcfg-lo:0

启动lo:0网卡，添加VIP本地访问路由
ifup lo:0

ifconfig lo:0

route add -host 192.168.20.180 dev lo:0

设置系统自动识别，并设置执行权限
vim /etc/rc.local

/sbin/route add -host 192.168.20.180 dev lo:0

chmod +x /etc/rc.d/rc.local

调整内核的arp响应参数以阻止更新VIP的MAC地址，避免发生冲突
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

sysctl -p

安装tomcat、nfs、rpcbind
ln -s /usr/local/tomcat/bin/startup.sh /usr/bin/startup.sh

startup.sh #开启tomcat

systemctl start nfs rpcbind  #开启服务

web2和web1一样的配置，但是注意修改IP

web1：挂载共享目录
mount.nfs 192.168.20.17:/opt/kgc /usr/local/tomcat/webapps/ROOT/

df -hT

web2：挂载共享目录
mount.nfs 192.168.20.17:/opt/benet /usr/local/tomcat/webapps/ROOT/

df -hT

4.5、部署keepalived

下载
yum -y install keepalived

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak   ##备份

vim keepalived.conf
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
	#vrrp_strict
}

vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
	#nopreempt		#如果设置非抢占模式，两个节点state必须为bakcup，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass abc123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.10.180
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.10.180 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.10.16 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}

	real_server 192.168.10.17 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}

两台都需要配置vip(虚拟IP)      80（master）   23(backup)
vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.180
NETMASK=255.255.255.255

重启网卡 systemctl restart network
ifup  ens33:0 


systemctl start keepalived
ip addr						#查看虚拟网卡vip

启动 ipvsadm 服务
--192.168.10.14---

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -C   ##清空规则
ipvsadm -A -t 192.168.10.180:80 -s rr
ipvsadm -a -t 192.168.10.180:80 -r 192.168.10.16:80 -g
ipvsadm -a -t 192.168.10.180:80 -r 192.168.10.17:80 -g


ipvsadm -ln
#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived

--192.168.10.15---
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -ln

（3）调整 proc 响应参数，关闭Linux 内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

4.6、测试验证

在客户端访问 http://192.168.10.180/

再在主服务器关闭 keepalived 服务后再测试， systemctl stop keepalived