LVS+Keepalived 高可用负载均衡群集

原创 于 2022-06-20 16:11:54 发布 · 127 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#负载均衡 #服务器 #linux #运维

本文介绍了Keepalived工具及其在解决集群单点故障中的作用，详细阐述了Keepalived基于VRRP协议的工作原理和多机热备机制。通过部署LVS-DR模式的高可用集群，展示了Keepalived如何实现主备切换，并讨论了可能出现的脑裂现象及其解决方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、Keepalived工具介绍

1.1 普通集群容易出现的问题

企业应用中，单台服务器承担应用存在单点故障的危险。

单点故障一旦发生， 企业服务将发生中断，造成极大的危害。

在这里插入图片描述

1.2 Keepalived工具介绍

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。
Keepalived是专为LVS和HA设计的一款健康检查工具：

支持故障自动切换（Failover）

支持节点健康状态检查（Health Checking）

判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当master故障主机恢复后将其重新加入群集并且业务重新切换回master节点。

官方网站: www.keepalived.orgl

二、Keepalived实现原理剖析

2.1 Keepalived采用VRRP热备份协议

Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能。
VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案：

  1. 由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务。
  2. 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态。
  3. 若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。
  4. 在配置时设置优先级，优先级高的那一方为master。master节点承载着VIP地址。

在这里插入图片描述

2.2 Keepalived多机热备

Keepalived可实现多机热备，每个热备组可有多台服务器。（由于服务器的成本较高，一般使用2~3台服务器做热备组，大部分公司都是1主1备两台服务器）

双机热备的故障切换是由虚拟IP地址的漂移来实现，适用于各种应用服务器。
在这里插入图片描述

2.3 Keepalived工作原理

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

  1. 主服务器作用：转发数据；发送报文告诉备服务器自己在线。
  2. 备服务器作用：监听主服务器发来的数据；收不到消息的时候就接替主服务器。

在这里插入图片描述

三、Keepalived体系主要模块

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

  1. core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。
  2. vrrp模块：是来实现VRRP协议的。
  3. check模块：负责健康检查，常见的方式有端口检查及URL检查。

四、LVS-DR模式+keepalived 高可用集群部署

实验环境：
主DR调度器：192.168.72.10/24
备DR调度器：192.168.72.192/24
web1：192.168.72.30/24
web2：192.168.72.40/24
VIP：192.168.72.200/32
客户端：192.168.72.77/24

在这里插入图片描述

4.1 部署2台web服务器

第一台web节点服务器（192.168.72.30/24），VIP：192.168.72.200/32

 1、#关闭防火墙
 [root@web1 ~]# systemctl stop firewalld
 [root@web1 ~]# setenforce 0
 ​
 2、#安装httpd，开启服务
 [root@web1 ~]# mount /dev/sr0 /mnt      //挂载光盘
 mount: /dev/sr0 写保护，将以只读方式挂载
 [root@web1 ~]# yum install httpd -y     //安装httpd服务
 [root@web1 ~]# systemctl start httpd    //开启httpd服务
 ​
 3、#配置虚拟IP地址（VIP:192.168.72.200），添加虚接口lo:0。
 #此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
 #因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
 [root@web1 ~]# cd /etc/sysconfig/network-scripts/
 [root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
 [root@web1 network-scripts]# vim ifcfg-lo:0  //设置虚接口lo:0
 DEVICE=lo:0
 IPADDR=192.168.72.200
 NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1）
 ONBOOT=yes
 [root@web1 network-scripts]# ifup lo:0         //启动虚接口
 [root@web1 network-scripts]# ifconfig lo:0     //查看虚接口的信息
 ​
 4、#添加路由记录，dev指定出站网卡
 [root@web1 ~]# route add -host 192.168.72.200 dev lo:0  
 [root@web1 ~]# route -n  //以数字形式显示路由信息
 ​
 #可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
 [root@web1 ~]# vim /etc/rc.local
 /sbin/route add -host 192.168.72.200 dev lo:0
 [root@web1 ~]# chmod +x /etc/rc.d/rc.local
 ​
 5、#调整内核的ARP响应参数
 #arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
 #arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
 [root@web1 ~]# vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1  
 net.ipv4.conf.lo.arp_announce = 2
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.all.arp_announce = 2
 [root@web1 ~]# sysctl -p  //刷新配置，读取修改后的配置
 ​
 6、#创建站点文件
 [root@web1 ~]# echo "tt is a girl" > /var/www/html/index.html
 [root@web1 ~]# cat /var/www/html/index.html
  tt is a girl

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
第二台web节点服务器（192.168.72.40/24），VIP：192.168.72.200/32
与第一台的配置步骤相同。

 1、#关闭防火墙
 [root@web2 ~]# systemctl stop firewalld
 [root@web2 ~]# setenforce 0
 ​
 2、#安装httpd，开启服务
 [root@web2 ~]# mount /dev/sr0 /mnt      //挂载光盘
 mount: /dev/sr0 写保护，将以只读方式挂载
 [root@web2 ~]# yum install httpd -y     //安装httpd服务
 [root@web2 ~]# systemctl start httpd    //开启httpd服务
 ​
 3、#配置虚拟IP地址（VIP:192.168.72.200），添加虚接口lo:0。
 #此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
 #因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
 [root@web2 ~]# cd /etc/sysconfig/network-scripts/
 [root@web2 network-scripts]# cp ifcfg-lo ifcfg-lo:0
 [root@web2 network-scripts]# vim ifcfg-lo:0  //设置虚接口lo:0
 DEVICE=lo:0
 IPADDR=192.168.72.200
 NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1）
 ONBOOT=yes
 [root@web2 network-scripts]# ifup lo:0         //启动虚接口
 [root@web2 network-scripts]# ifconfig lo:0     //查看虚接口的信息
 ​
 4、#添加路由记录，dev指定出站网卡
 [root@web2 ~]# route add -host 192.168.72.200 dev lo:0  
 [root@web2 ~]# route -n  //以数字形式显示路由信息
 ​
 #可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
 [root@web2 ~]# vim /etc/rc.local
 /sbin/route add -host 192.168.72.200 dev lo:0
 [root@web2 ~]# chmod +x /etc/rc.d/rc.local
 ​
 5、#调整内核的ARP响应参数
 #arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
 #arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
 [root@web2 ~]# vim /etc/sysctl.conf
 net.ipv4.conf.lo.arp_ignore = 1  
 net.ipv4.conf.lo.arp_announce = 2
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.all.arp_announce = 2
 [root@web2 ~]# sysctl -p     //刷新配置，读取修改后的配置
 ​
 6、#创建站点文件
 [root@web2 ~]# echo "nn is a boy" > /var/www/html/index.html
 [root@web2 ~]# cat /var/www/html/index.html
  nn is a boy

在这里插入图片描述

4.2 部署2台负载调度器

主DR调度器：192.168.72.10/24

备DR调度器：192.168.72.192/24

两台调度器配置步骤相同，配置文件的参数有所不同。

 1、#关闭防火墙和selinux
 [root@yuji ~]# systemctl stop firewalld
 [root@yuji ~]# setenforce 0
 ​
 2、#安装ipvsadm工具和keepalived工具，加载ip_vs模块
 [root@yuji ~]# yum -y install ipvsadm keepalived
 [root@yuji ~]# modprobe ip_vs        //加载ip_vs模块
 [root@yuji ~]# cat /proc/net/ip_vs   //查看ip_vs模块的版本
 ​
 ​
 3、#找到keeplived配置文件，进行备份（主、备DR 服务器上都要设置）
 [root@yuji ~]# rpm -qc keepalived
 /etc/keepalived/keepalived.conf     //配置文件位置
 /etc/sysconfig/keepalived
 [root@yuji ~]# cd /etc/keepalived/
 [root@yuji keepalived]# cp keepalived.conf keepalived.conf.bak   //备份配置文件
 [root@yuji keepalived]# ls
 keepalived.conf  keepalived.conf.bak
 ​
 ​
 4、#修改keeplived配置文件（主、备DR 服务器上都要设置）
 [root@yuji keepalived]# vim keepalived.conf
 ......
 #定义全局参数
 global_defs {                   
     smtp_server 127.0.0.1   #修改这一行，将邮件服务指向本地
     router_id LVS_01   #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
     #vrrp_skip_check_adv_addr
     #vrrp_strict
     #vrrp_garp_interval 0
     #vrrp_gna_interval 0
     #将以上四行vrrp的配置注释掉， 取消严格遵守VRRP协议功能，否则VIP无法被连接
 }
 ​
 #定义VRRP热备实例参数
 vrrp_instance VI_1 {
     state MASTER     #指定热备状态，主为MASTER，备为BACKUP。但真正的主备是用优先级区分。
     interface ens33       #指定承载vip地址的物理接口
     virtual_router_id 51  #指定虚拟路由器的ID号，每个热备组保持一致。默认为51  
     #nopreempt      #如果设置非抢占模式，两个节点state必须为bakcup，并加上配置nopreempt
     priority 100             #指定优先级，数值越大优先级越高，这里设置主为100，备为90
     advert_int 1             #通告间隔秒数(心跳频率)
     authentication {         #定义认证信息,每个热备组保持一致
         auth_type PASS       #认证类型
         auth_pass abc123     #指定验证密码，主备服务器保持一致
     }
     virtual_ipaddress {         #指定群集vip地址
         192.168.72.200
     }
 }
 ​
 #指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
 virtual_server 192.168.72.200 80 {
     delay_loop 6                #健康检查的间隔时间(秒)
     lb_algo rr                  #指定调度算法，轮询(rr)
     lb_kind DR                  #指定群集工作模式，直接路由(DR)
     persistence_timeout 0       #连接保持时间(秒)
     protocol TCP                #应用服务采用的是 TCP协议
   
     real_server 192.168.72.30 80 {     #添加第一个Web节点的地址、端口
         weight 1      #节点的权重
         
         # SSL_GET {     #注释掉这个健康检查的方式，默认SSL_GET，我们采用TCP_CHECK
             #url {
              # path /
              # digest ff20ad2481f97b1754ef3e12ecd3a9cc
            # }
            # url {
             #  path /mrtg/
              # digest 9b3a0c85a887a256d6939da88aabd8cd
 ​
         TCP_CHECK {                 #采用TCP_CHECK健康检查的方式
             connect_port 80         #添加检查的目标端口
             connect_timeout 3       #添加连接超时(秒)
             nb_get_retry 3          #添加重试次数
             delay_before_retry 3    #添加重试间隔
         }
     }
 ​
     real_server 192.168.72.40 80 {      #添加第二个Web节点的地址、端口
         weight 1
         TCP_CHECK {
             connect_port 80
             connect_timeout 3
             nb_get_retry 3
             delay_before_retry 3
         }
     }
 }
 ##删除后面多余的配置##
 ​
 ​
 ​
 5、#启动eepalived服务
 [root@yuji keepalived]# systemctl start keepalived
 [root@yuji keepalived]# ip addr   #查看虚拟网卡vip
 ​
 ​
 6、#保存调度策略，启动 ipvsadm 服务
 [root@yuji keepalived]# ipvsadm-save > /etc/sysconfig/ipvsadm
 [root@yuji keepalived]# systemctl start ipvsadm
 [root@yuji keepalived]# ipvsadm -ln    //查看调度策略
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
 TCP  192.168.72.200:80 rr persistent 50
   -> 192.168.72.30:80             Masq    1      0          0         
   -> 192.168.72.40:80             Masq    1      0          0    
 ​#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived
 ​
 ​
 7、#调整 proc 响应参数，关闭Linux内核的重定向参数响应。
 #由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，关闭路由转发功能，不充当路由器
 [root@yuji keepalived]# vim /etc/sysctl.conf
 [root@yuji keepalived]# sysctl -p   //刷新配置，读取修改后的配置
 net.ipv4.ip_forward = 0
 net.ipv4.conf.all.send_redirects = 0
 net.ipv4.conf.default.send_redirects = 0
 net.ipv4.conf.ens33.send_redirects = 0
 ​
 ​
 8、#主调度器将配置文件传给备调度器。
 [root@localhost keepalived]# scp keepalived.conf 192.168.72.192:`pwd`
 ​
 ​
 9、#备调度器修改配置文件，修改为"router_id LVS_02"、"state BACKUP"、"priority 90"，其他参数和主调度器保持一致。
 [root@bei keepalived]# vim keepalived.conf
 global_defs {
    ......
    router_id LVS_02  #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
 }
 ​
 vrrp_instance VI_1 {
     ......
     state  BACKUP  #指定热备状态，主为MASTER，备为BACKUP。
     priority 90    #指定优先级，数值越大优先级越高，这里设置主为100，备为90
     .......
 }

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

4.3 客户端访问测试

客户机IP：192.168.72.77/24

浏览器输入VIP地址进行访问：192.168.72.200

在这里插入图片描述
在这里插入图片描述

4.4 关闭主调度器的keepalived模拟宕机

在这里插入图片描述
在这里插入图片描述
主调度器宕机后，客户端访问测试：
在这里插入图片描述
在这里插入图片描述
小贴士：
keepalived是通过ip命令自动生成VIP的。

当主调度器进行工作时，则在主调度器中通过ip命令生成VIP。当备调度器工作时，则在备调度器中生成VIP。

五、keepalived 一种典型性的故障现象：脑裂

脑裂现象：
主备调度器通过内网交换机连接，如果交换机挂了，则此时主调度器仍存活，但备份调度器收不到主调度器的VRRP信息，备调度器就会工作，两台调度器就会同时工作，出现脑裂现象。
主备调度器同时工作，如果web是无状态应用，那么客户端无论从哪一个调度器进行访问，页面内容相同。但如果是有状态应用，则两台调度器同时工作，会导致客户端显示的页面资源不一致。

解决脑裂问题的方法：
1、主备调度器多连一条线，即使交换机挂了，这两个还可以通信。
2、通过第三方监控软件，当发现两台调度器同时工作，则杀掉主调度器。
3、自己写一个脚本，例如crontab和while死循环执行，当监控到备调度器工作了，就杀掉主调度器的keepalived服务。

总结

Keepalived通过什么判断哪台主机为主服务器，通过什么方式配置浮动IP？

  1. Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
  2. 然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
  3. 优先级高的服务器会通过ip命令，为自己配置一个提前定义好的浮动IP地址。

keepalived的抢占与非抢占模式：
抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后，不抢占BACKUP升级为MASTER后的VIP。

非抢占式俩节点的state必须都设置为bakcup，且必须配置nopreempt。

注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。

octoben
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值