3.LVS+Keepalived高可用群集

一.Keepalived双机热备基础知识

Keepalived 起初是专门针对 LVS 设计的一款强大的辅助工具，主要用来提供故障切换(Failover)和健康检査(Health Checking)功能--判断 LVS 负载调度器、节点服务器的可用性，当master 主机出现故障及时切换到 backup节点保证业务正常,当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。

1.Keepalived概述及安装

1.1Keeplived的热备方式

Keepalived 采用 VRRP(Virtual Router Redundancy Protocol,虚拟路由冗余协议)热备份协议,以软件的方式实现Linux 服务器的多机热备功能。VRRP是针对路由器的一种备份解决方案--由多台路由器组成一个热备组,通过共用的虚拟IP地址对外提供服务;每个热备组内同一时刻只有一台主路由器提供服务，其他路由器处于冗余状态。若当前在线的路由器失效，则其他路由器会自动接替(优先级决定接替顺序)虚拟IP地址，以继续提供服务

热备组内的每台路由器都可能成为主路由器，虚拟路由器的IP地址(VIP)可以在热备组内的路由器之间进行转移，所以也称为漂移IP地址。使用Keepalived 时,漂移地址的实现不需要手动建立虚接口配置文件(如 ens33 :0),而是由 Keepalived 根据配置文件自动管理。

1.2Keepalived的安装与服务控制

（1）安装Keepalived

yum install -y keepalived ipvsadm nginx

(2)控制Keepalived服务

设置开机自启：systemctl  enable keepalived

2.使用Keepalived实现双机热备

基于VRRP的热备方式，Keepalivved可以用作服务的故障切换，每个热备组可以有多台服务器———当然，最常用的就是双机热备。这种双机热备的方案中，故障切换主要针对虚拟IP地址的漂移来实现，因此能够适用于各种应有的服务器（包括Web、FTP、Mail、SSH、DNS...）

以下案例说明Keepalived双机热备的配置方法，其中主备服务器的IP地址分别为192.168.10.101、102，基于漂移地址192.168.10.100提供Web服务

主备服务器都需要安装Keepalived

1.主服务器的配置

Keepalived 服务的配置目录位于/etc/keepalived/。其中，keepalived.conf 是主配置文件。另外包括一个子目录 samples/，提供了许多配置样例作为参考。
在 Keepalived 的配置文件中，使用“global defs {……}”区段指定全局参数，使用“vrrp_instance 实例名称{…}”区段指定 VRRP 热备参数，注释文字以“!”符号开头。

命令：

systemctl stop firewalld //关闭防火墙

setenforce 0

 cd /etc/keepalived/   

cp keepalived. conf.sample keepalived. conf

vi keepalived. conf

global_ defs {

router id HA_ TEST_ R1    //本路由器(服务器)的名称

}

vrrp_instance VI_1 {           //定义 VRRP 热备实例

state MASTER                   //热备状态，MASTER 表示主服务器

interface ens33                  //承载 VIP 地址的物理接口

virtual_ router_ id 1            //虚拟路由器的 ID号,每个热备组保持一致

priority 100                        //优先级,数值越大优先级越高

advert_ int 1                      //通告间隔秒数(心跳频率)

authentication {                 //认证信息,每个热备组保持一致

auth_ type PASS                //认证类型

auth_ pass 123456            //密码字串

}

virtual_ ipaddress {           //指定漂移地址(VIP),可以有多个

192.168.10.100 

}

}

确认上述配置无误，然后启动 Keepalived 服务。实际状态为 MASTER 的主服务器将为 ens33 接口自动添加 VIP 地址，通过 ip 命令可以查看。注意:ifconfig 命令看不到。

命令：

systemctl  start  keepalived

ip addr  show  dev  ens33

2.备用服务器的配置

在同一个 Keepalived 热备组内，所有服务器的 Keepalived 配置文件基本相同，包括虚拟路由器的 ID 号、认证信息、漂移地址、心跳频率等。不同之处主要在于路由器名称、热备状态、优先级。

路由器名称(router id):建议为每个参与热备的服务器指定不同的名称。

热备状态(state):至少应有一台主服务器，将状态设为MASTER;可以有多台备用的服务器，将状态设为BACKUP

优先级(priority):数值越大则取得 VIP 控制权的优先级越高，因此主服务器的优先级应设为最高;其他备用服务器的优先级可依次递减,但不要相同，以免在争夺 VIP 控制权时发生冲突。

配置备用服务器(可以有多台)时，可以参考主服务器的keepalived.conf配置文件内容，只需修改路由器名称、热备状态、优先级。

确认配置无误，一样需要启动Keepalived服务，此时主服务器仍然在线，VIP地址实际上仍然由主服务器控制，其他服务器处于备用状态，因此，在备用服务器中将不会为ens33接口添加VIP地址

3.测试双机热备功能

Keepalived 的日志消息保存在/var/log/messages 文件中，在测试主、备故障自动切换功能时，可以跟踪此日志文件来观察热备状态的变化。以针对连通性和web 服务的测试为例，主要操作如下。

（1）连通性测试

在客户机中执行“ping -t 192.168.10.100”命令，能够正常、持续 ping 通根据以下操作继续观察测试结果。

a.停止启用主服务器的 Keepalived 服务，发现 ping 测试只中断了 1或 2
个包即恢复正常，说明已有其他服务器接替 VIP 地址，并及时响应客户机请求。

b. 重新启用主服务器的 Keepalived 服务，发现 ping 测试再次中断1或 2个包即恢复正常，说明主服务器已恢复正常，并夺回VIP 地址的控制权。

（2）Web访问测试

在 keepalived 运行的主机上启动 nginx 服务并写入不通的测试页面内容

Keepalived01:

   systemctl  start nginx

   echo "web01" > /usr/share/nginx/html/index.html

Keepalived02:

   systemctl  start nginx

   echo "web02" > /usr/share/nginx/html/index.html

在客户机中访问 http://192.168.10.100/,将看到由主服务器 192.168.10.101提供的网页文档。
① 停止启用主服务器的 Keepalived 服务，再次访问上述 Web 服务，将看到由备用服务
器 192.168.10.102 提供的网页文档，说明 VIP 地址已切换至备用服务器。

② 重新启用主服务器的 Keepalived 服务，再次访问上述 Web 服务，将看到重新由主服
务器 192.168.10.101 提供的网页文档，说明主服务器已重新夺取 VIP 地址。

(3)查看日志记录

在执行主、备服务器故障切换过程中，分别观察各自的/var/log/message日志文件，可以看到MASTER、SLAVE状态的迁移记录

a.主服务器中，Keepalived服务状态先变为“stop”，移除VIP地址，恢复后重新变为MASTER

命令：less  /var/log/message

b.备用服务器中，状态先切换为MASTER，待主服务器恢复后再交回控制权

通过上诉测试过程，可以发现双机热备已经正常。客户机只要通过VIP地址就可以访问服务器所提供的Web等应用。其中，任何一台服务器失效，另一台服务器将会立即接替服务，从而实现高可用性。实际应用时，注意主备服务器提供的Web服务内容要保持一致

二.使用Keepalived实现双机热备

Keepalived 的设计目标是构建高可用的 LVS 负载均衡群集，可以调用ipvsadm 工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备。使用Keepalived 构建 LVS 群集更加简便易用，主要优势体现在:对 LVS 负载调度器实现热备切换，提高可用性;对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入。
在基于 LVS+Keepalived 实现的 LVS 群集结构中，至少包括两台热备的负载调度器，三台以上的节点服务器。使用 Keepalived 构建 LVS 群集时，也需要用到 ipvsadm 管理工具。但大部分工作会由Keepalived 自动完成，不需要手动执行 ipvsadm(除了查看和监控群集以外)。

资源列表

操作系统	配置	主机名	IP	服务
OpenEuler24	2C4G	lb01	192.168.10.101	Keepalived/ipvsadm
OpenEuler24	2C4G	lb02	192.168.10.102	Keepalived/ipvsadm
OpenEuler24	2C4G	web01	192.168.10.103	nginx
OpenEuler24	2C4G	web02	192.168.10.104	nginx
OpenEuler24	2C4G	nfs-server	192.168.10.105	nfs-utils/recbind

1.基础环境配置

关闭防火墙

systemctl  stop  firewalld

systemctl  disable  firewalld

关闭内核安全机制

setenforce 0

sed -i "s/^SELINUX=.*/SELINUX=disabled/g"  /etc/selinux/config

修改主机名

hostnamectl set-hostname lb01

hostnamectl set-hostname lb02

hostnamectl set-hostname web01

hostnamectl set-hostname web02

安装Keepalived以及ipvsadm（lb01、lb02）

modprobe ip_vs            //加载ip_vs模块

cat /proc/net/ip_vs        //查看ip_vs版本信息

yum -y install ipvsadm keepalived   

 cd /etc/keepalived/   

cp keepalived. conf.sample keepalived. conf

2.配置主调度器

（1）全局配置、热备配置

首先为主、从调度器实现热备功能，漂移地址使用LVS群集的VIP地址

vi /etc/keepalived/keepalived.conf

global_ defs {

router id HA_ TEST_ R1    //本路由器(服务器)的名称

}

vrrp_instance VI_1 {           //定义 VRRP 热备实例

state MASTER                   //热备状态，MASTER 表示主服务器

interface ens33                  //承载 VIP 地址的物理接口

virtual_ router_ id 1            //虚拟路由器的 ID号,每个热备组保持一致

priority 100                        //优先级,数值越大优先级越高

advert_ int 1                      //通告间隔秒数(心跳频率)

authentication {                 //认证信息,每个热备组保持一致

auth_ type PASS                //认证类型

auth_ pass 123456            //密码字串

}

virtual_ ipaddress {           //指定漂移地址(VIP),可以有多个

192.168.10.100 

}

}

（2）web服务器池配置

在 Keepalieved 的热备配置基础上添加“virtual server VIP 端口...}”区段来 配置虚拟服务器，主要包括对负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数的设置。

vi /ete/keepalived/keepalived. conf

virtual server 192.168.10.100 80 {          //虚拟服务器地址(VIP)、端口

delay_loop 15                                         //健康检查的间隔时间(秒)

Ib_ algo rr                                                //轮询(rr)调度算法

lb_ kind DR                                            //直接路由(DR)群集工作模式

! persistence 60                                     //连接保持时间(秒),若启用请去掉!号

protocol TCP                                          //应用服务采用的是 TCP 协议

real_ server 192.168.10.103 80 {           //第一个 Web 节点的地址、端口

weight 1                                                  //节点的权重

TCP CHECK {                                        //健康检查方式

connect_ port 80                                   //检查的目标端口

connect_ timeout 3                               //连接超时(秒)

nb_ get_ retry 3                                     //重试次数

delay_ before_ retry 4                          //重试间隔(秒)

}

}

real server 192.168.10.104 80 {                       //第二个 web 节点的地址、端口

.....

完整配置如下(该配置文件为 1b01 节点的配置，可复制到 1b02 节点但需要修改state 以及 priority,router id 建议为每个机器配置不同的名称

cat /etc/keepalived/keepalived.conf

(3)重新启动Keepalived服务

systemctl restart keepalived

3.配置从调度器

其配置与主调度器基本相同，也包括全局配置、热备配置、服务器池配置，只需要调整router_id、state、priority参数即可，其余内容完全相同。配置完成以后重启keepalived服务

4.配置Web节点服务器

a.关闭防火墙，内核安全

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

安装apache，编写测试文件
dnf -y install httpd
echo "test2">/var/www/html/index.html

systemctl start httpd
systemctl enable httpd

将虚拟ip添加到服务器

ip addr add 192.168.10.172/32 dev lo label lo:0
ip a

route add -host 192.168.10.172 dev lo   //加入到本地回环接口，使该ip地址在本机上被视为可达
vim /etc/rc.local

  ip addr add 192.168.10.172/32 dev lo label lo:0

chmod +x /etc/rc.local

vim /etc/sysctl.conf

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

sysctl -p

5.测试 LVS+Keepalived 高可用群集

在客户机的浏览器中，能够通过LVS+Keepalived 群集的 VIP 地址(192.168.10.100)正 常访问 Web 页面内容。当主、从调度器任何一个失效时，Web 站点仍然可以访问(可能需要 刷新或者重新打开浏览器);只要服务器池有两台及以上的真实服务器可用，就可以实现访问量的负载均衡。通过主、从调度器的/var/log/messages 日志文件，可以跟踪故障切换过程;若要查看负载分配情况，可以执行“ipvsadm -ln”“ipvsadm-lnc”等操作命令。最终可以验证 LVS+Keepalived 高可用负载均衡群集的健壮性。