LVS模式—：（DR模式）+Keepalived（高可用）

最新推荐文章于 2025-07-15 18:49:27 发布

追上大佬的脚步啊！

最新推荐文章于 2025-07-15 18:49:27 发布

阅读量305

点赞数

CC 4.0 BY-SA版权

分类专栏：运维服务

本文链接：https://blog.youkuaiyun.com/hetoto/article/details/90605253

运维服务专栏收录该内容

34 篇文章

订阅专栏

本文基于DR模式+健康检查开展Keepalived实验。Keepalived可提供负载均衡和高可用功能，依赖IPVS实现负载均衡，通过VRRP协议实现故障转移。介绍了其在网络、传输、应用层的工作原理，还给出实验环境、配置过程、测试方法及高可用下健康检查情况。

本实验在之前的DR模式+健康检查基础上做的，详细见之前博文

Keepalived

keepalived观其名可知，保持存活，在网络里面就是保持在线了，也就是所谓的高可用或热备，用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生

主要提供 loadbalancing（负载均衡）和 high-availability（高可用）功能
负载均衡实现需要依赖Linux的虚拟服务内核模块（ipvs）
高可用是通过VRRP协议实现多台机器之间的故障转移服务
采用多进程的设计模式，每个进程负责不同的功能

VRRP 协议：

用于实现路由器冗余的协议
解决静态路由单点故障问题
通过一种竞选(election)协议来实现虚拟路由器的功能

IPVS( IP Virtual Server )

Keepalived里面所有对LVS的相关操作并不直接使用ipvsadm这样的用户端程序，而是直接使用IPVS提供的函数进程操作，该代码都在check/ipwrapper.c中

keepalived对服务器运行状态和故障隔离的工作原理：

Keepalived工作在TCP/IP参考模型的三层，四层，五层，也就是分别为：网络层，传输层，应用层，根据TCP，IP参数模型隔层所能实现的功能，Keepalived运行机制如下：

在网络层：

在网络层的四个协议（互联网络IP协议，互联网络可控制报文协议ICMP，地址转换协议ARP，反向地址转换协议RARP）Keepalived在网络层采用最常见的工作方式是通过ICMP协议向服务器集群中的每一个节点发送一个ICMP的数据包，类似于ping的功能，如果某个节点没有返回响应数据包，那么认为该节点发生了故障，Keepalived将报告这个节点失效，并从服务器集群中的节点剔除。

在传输层：

提供了俩个主要的协议：传输控制协议TCP和用户数据协议UDP，传输控制协议TCP可以提供可靠的数据输出服务，IP地址和端口，代表TCP的一个连接端，要获得TCP服务，需要在发送机的一个端口和接收机的一个端口上建立连接，而Keepalived在传输层利用了TCP协议的端口连接和扫描技术来判断集群节点是否正常，比如对web服务器常见的80端口，keepalived一旦在传输层探测到这些端口信号没有数据响应和数据返回，就认为这些端口发生异常，然后强制这些端口所对应的节点从服务器集群中剔除掉。

在应用层：

可以运行FTP，TELNEL，SMTP，DNS等各种不同类型的高层协议，Keepalived的运行方式也更加全面化和复杂化，用户可以通过自定义Keepalived工作方式，例如可以通过编写程序或者编写脚本来运行Keepalived，而Keepalived将根据用户设定的参数来检测各种程序或者服务是否运行正常，当Keepalived的检测结果和用户设定的不一致时，Keepalived将把对应的服务器从服务器集群中剔除。

Keepalived起初是为LVS设计的，由于Keepalived可以实现对集群节点的状态检测，而IPVS可以实现负载均衡功能，因此，Keepalived借助于第三方模块IPVS就可以很方便的搭建一套负载均衡系统在这里有个误区就是由于Keepalived可以和IPVS一起工作，所以普遍就认为Keepalived是一个负载均衡软件，这种理解是错误的。

实验环境：
RHEL6 系列 selinux and iptables disabled

主机环境：

主机名	IP	服务
hetoto1	172.25.12.1	主备
hetoto2	172.25.12.2	realserver
hetoto3	172.25.12.3	realserver
hetoto4	172.25.12.4	辅

LVS ACTIVE: 172.25.12.1
LVS BACKUP: 172.25.12.4
LVS VIP: 172.25.12.100
Realsever: 172.25.12.2 和172.25.12.3

配置过程：

1.配置高级yum源（server1和server4）

[root@hetoto1 ~]# vim /etc/yum.repos.d/rhel-source.repo
[rhel-source]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.12.250/rhel6.5
enabled=1
gpgcheck=0

[LoadBalancer]
name=LoadBalancer
baseurl=http://172.25.12.250/rhel6.5/LoadBalancer
enabled=1
gpgcheck=0

[HighAvailability]
name=HighAvailability
baseurl=http://172.25.12.250/rhel6.5/HighAvailability
enabled=1
gpgcheck=0

在这里插入图片描述
2.虚拟服务器得到最新版本的keepalived包并解压安装

[root@hetoto1 ~]# ls
keepalived-2.0.6.tar.gz
[root@hetoto1 ~]# tar zxf keepalived-2.0.6.tar.gz 
[root@hetoto1 ~]# ls
keepalived-2.0.6  keepalived-2.0.6.tar.gz
[root@hetoto1 ~]# cd keepalived-2.0.6

在这里插入图片描述
3.安装keepalived的依赖包：openssl-devel gcc

[root@hetoto1 keepalived-2.0.6]# yum install openssl-devel -y
[root@hetoto1 keepalived-2.0.6]# yum install gcc -y

如果没有安装gcc包，编译会不成功，提示没有gcc来编译：

在这里插入图片描述

4.编译keepalived的源码包

[root@hetoto1 keepalived-2.0.6]# ./configure --prefix=/usr/local/keepalived --with-init=SYSV
[root@hetoto1 keepalived-2.0.6]# make && make install

在这里插入图片描述

5.)给keepalive的服务启动脚本加执行权限

[root@hetoto1 keepalived-2.0.6]# cd /usr/local/keepalived/etc/rc.d/init.d/
[root@hetoto1 init.d]# ls
keepalived
[root@hetoto1 init.d]# chmod +x keepalived

在这里插入图片描述
6.制作软连接方便keepalived的管理与设置

[root@hetoto1 etc]# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
[root@hetoto1 etc]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[root@hetoto1 etc]# ln -s /usr/local/keepalived/etc/keepalived/ /etc/
[root@hetoto1 etc]# ln -s /usr/local/keepalived/sbin/keepalived /sbin

在这里插入图片描述

如果eth0有上一次实验的VIP，删除上一次虚拟服务器添加的VIP，保证实验环境纯净

[root@hetoto1 init.d]# ip addr del 172.25.12.100/24 dev eth0

在这里插入图片描述
7.在hetoto1 中配置/keepalived的配置文件
Keepalived配置文件详解：
Keepalived的所有配置都在一个配置文件里面设置，支持的配置项主要分三类：

全局配置(Global Configuration)：作用于整个keepalived服务
VRRPD配置：keepalived的核心
虚拟服务配置：指定服务与负载均衡
配置文件都是以块(block)形式组织的，每个块都在{ }包围的范围内

[root@hetoto1 sbin]# cd /etc/keepalived/
[root@hetoto1 keepalived]# ls
keepalived.conf  samples

在这里插入图片描述
#和!开头的行都是注释

[root@hetoto1 keepalived]# vim keepalived.conf 

! Configuration File for keepalived
## 全局配置
global_defs {               ##全局定义块
   notification_email {     ##邮件通知
   root@localhost   
}
   #设置邮件的发送地址
   notification_email_from keepalived@localhost 
   smtp_server 127.0.01           #设置 smtp server 地址
   smtp_connect_timeout 30        #设置连接 smtp 服务器超时时间
   router_id LVS_DEVEL            #load balancer 的标识 ID,用于 email 警报
   vrrp_skip_check_adv_addr
   #vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

## VRRPD配置
vrrp_instance VI_1 {
    state MASTER    #备机改为 BACKUP,此状态是由 priority 的值来决定的,当前
priority 的值小于备机的值,那么将会失去 MASTER 状态
    interface eth0          #HA 监测网络接口
    virtual_router_id 51    #主、备机的 virtual_router_id 必须相同，取值 0-255
    priority 100            #主机的优先级,备份机改为 50，主机优先级一定要大于备机
    advert_int 1            #主备之间的通告间隔秒数
    authentication {
        auth_type PASS      #设置验证类型，主要有 PASS 和 AH 两种
        auth_pass 1111      
    }
##指定漂移地址（VIP），即切换到MASTER时，这些IP会被添加，切换到BACKUP时，这些IP会被删除（传给ip addr命令），所以每台服务器可以不用绑定任何的虚拟地址。
    virtual_ipaddress {
    	172.25.12.100      
    }
}

## 虚拟服务配置
virtual_server 172.25.12.100 80 {   #定义虚拟服务器
    delay_loop 6       #定义虚拟服务器
    lb_algo rr         #lvs 调度算法,这里使用轮叫
    lb_kind DR         #LVS 是用 DR 模式
    #persistence_timeout 50         #注释掉
    protocol TCP       #指定转发协议类型，有 tcp 和 udp 两种

    real_server 172.25.12.2 80 {    #配置服务节点
        weight 1       #默认为1，0为失效
	TCP_CHECK{     ##TCP方式的健康检查，realserve 的状态检测设置部分，单位是秒
            connect_timeout 3     #10 秒无响应超时
            retry 3               #重试次数
            delay_before_retry 3  #重试间隔
        }
    }
    
    real_server 172.25.12.3 80 {
        weight 1
	TCP_CHECK{
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }
}

8.将配置好的keepalived文件发送给备机（hetoto4）, 并做修改

[root@hetoto1 local]# cd /usr/local
[root@hetoto1 local]# scp -r keepalived root@172.25.12.4:/usr/local
bash: scp: command not found
lost connection

在这里插入图片描述

此处报错是因为目标虚拟机没有安装openssh-clients安装包，只需在hetoto4上安装openssh-clients就可正常使用
在hetoto4上：

[root@hetoto4 ~]# yum install -y openssh-clients**

配置文件只修改两个地方

[root@hetoto4 ~]# cd /usr/local/keepalived/etc/keepalived/
[root@hetoto4 keepalived]# ls
keepalived.conf  samples

[root@hetoto4 keepalived]# vim keepalived.conf 

! Configuration File for keepalived

global_defs {
   notification_email {
     root@localhost
   }
   notification_email_from keepalived@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   #vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state BACKUP      ##修改地方1，备机改为 BACKUP
    interface eth0
    virtual_router_id 19
    priority 50       ##修改地方2，备份机改为 50，主机优先级一定要大于备机
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    	172.25.12.100
	}
}

virtual_server 172.25.12.100 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    #persistence_timeout 50
    protocol TCP

    real_server 172.25.12.2 80 {
        TCP_CHECK {
	weight 1
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }
    real_server 172.25.12.3 80 {
     	TCP_CHECK {
	   weight 1
            connect_timeout 3
            retry 3
            delay_before_retry 3
 	}
    }

}

9.在hetoto4中同样制作软连接

[root@hetoto4 keepalived]# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
[root@hetoto4 keepalived]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[root@hetoto4 keepalived]# ln -s /usr/local/keepalived/etc/keepalived/ /etc/
[root@hetoto4 keepalived]# ln -s /usr/local/keepalived/sbin/keepalived /sbin

10.在hetoto1和hetoto4中都重启服务

[root@hetoto1 init.d]# /etc/init.d/keepalived restart
[root@hetoto4 init.d]# /etc/init.d/keepalived restart

如果之前没有开启keepalived，需要先开启，否则执行重启命令有失败，为保证实验正常，所以尽量全部ok
在这里插入图片描述

11.测试：

开启服务后，会自动分配vip地址（172.25.12.100）
将hetoto1（主）的keepalived服务关闭，发现大约在9s左右的时间vip地址漂移到hetoto4（备）
hetoto4中出现vip地址

高可用下实现健康检查

1.后端真实服务器都正常时（RealServer 无宕机）：实行轮叫
在这里插入图片描述
2.将hetoto3关掉（RealServer 有一台宕机）

[root@hetoto3 html]# /etc/init.d/httpd stop

在这里插入图片描述

则显示只调度hetoto2服务器

在这里插入图片描述

将两台realserver的httpd服务都关掉,将hetoto4（辅）上的keepalived服务关闭，将hetoto1（主）的keepalived服务打开，此时发现vip漂移回hetoto1

[root@hetoto2 html]# /etc/init.d/httpd stop

[root@hetoto4 keepalived]# /etc/init.d/keepalived stop

[root@hetoto1 local]# /etc/init.d/keepalived start

在这里插入图片描述

在真机上测试:

12.当有错误时自动发邮件给本机的检测
hetoto1（主备）和hetoto4（辅备）都可以收到邮件，下面以hetoto4为例
安装邮件所需要的软件（yum源搭建好之后）

[root@hetoto4 local]# yum install mailx -y

在这里插入图片描述

当关掉hetoto4的keepalived服务之后查看邮件

mail ##查看该邮件如果当hetoto4该keepalived服务关掉的时候，当realserver的httpd关掉的时候都会有报错

在这里插入图片描述