Keepalived双机热备

原创已于 2025-10-29 20:56:10 修改 · 698 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#git #linux #运维

于 2025-10-29 20:55:28 首次发布

概述

Keepalived是一个基于VRRP协议（虚拟冗余路由协议）来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息（心跳检测，heartbeat）给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

Keepalived的作用是检测服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中。

一、keepalived安装

[root@web1 ~]# yum install -y epel-release
[root@web1 ~]# yum install keepalived nginx

[root@web2 keepalived]# echo web2 > /usr/share/nginx/html/index.html 
[root@web2 keepalived]# systemctl enable --now  keepalived.service nginx.service

验证

[root@web1 keepalived]# ip a
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:c8:dc:33 brd ff:ff:ff:ff:ff:ff
    inet 192.168.115.111/24 brd 192.168.115.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.115.250/32 scope global ens33
##停掉master查看backup
[root@web1 keepalived]# systemctl stop  keepalived.service
[root@web2 keepalived]# ip a
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:8a:4a:79 brd ff:ff:ff:ff:ff:ff
    inet 192.168.115.112/24 brd 192.168.115.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.115.250/32 scope global ens33

二、配置文件

global_defs {
    notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
    sysadmin@fire.loc
    }
notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
   smtp_server localhost #指定smtp服务器地址
   smtp_connect_timeout 30 #指定smtp连接超时时间
   router_id LVS_DEVEL #运行keepalived机器的一个标识
}
vrrp_sync_group VG_1{ #监控多个网段的实例
group {
inside_network #实例名
outside_network
}
notify_master /path/xx.sh #指定当切换到master时，执行的脚本
notify_backup /path/xx.sh #指定当切换到backup时，执行的脚本
notify_fault "path/xx.sh VG_1" #故障时执行的脚本
notify /path/xx.sh
smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知
}

Keepalived在转换状态时会依照状态来呼叫：

- 当进入Master状态时会呼叫notify_master
- 当进入Backup状态时会呼叫notify_backup
- 当发现异常情况时进入Fault状态呼叫notify_fault

vrrp_instance inside_network {
    state BACKUP #指定那个为master，那个为backup，如果设置了nopreempt这个值不起作用，主备靠priority决定
    interface eth0 #设置实例绑定的网卡 VRRP心跳包从哪块网卡发出
    dont_track_primary #忽略vrrp的interface错误（默认不设置）
    track_interface{ #设置额外的监控，里面那个网卡出现问题都会切换
     eth1
     eth2
     }
    mcast_src_ip #发送多播包的地址，如果不设置默认使用绑定网卡的primary ip
    garp_master_delay #在切换到master状态后，延迟进行gratuitous ARP请求
    virtual_router_id 50 #VPID标记 相同VRID的LVS属于同一组，根据优先级选举出一个主
    priority 99 #优先级，高优先级竞选为master
    advert_int 10 #检查间隔，默认1秒 VRRP心跳包（报文）的发送周期，单位为s 组播信息发送间隔，两个节点设置必须一样（实际并不一定完全是10秒，测试结果是小于10秒的随机值）
    nopreempt #设置为不抢占 注：这个配置只能设置在backup主机上，而且这个主机优先级要比另外一台高

首先nopreemt必须在state为BACKUP的节点上才生效（因为是BACKUP节点决定是否来成为MASTER的），其次要实现类似于关闭auto failback的功能需要将所有节点的state都设置为BACKUP，或者将master节点的priority设置的比BACKUP低。我个人推荐使用将所有节点的state都设置成BACKUP并且都加上nopreempt选项，这样就完成了关于autofailback功能，当想手动将某节点切换为MASTER时只需去掉该节点的nopreempt选项并且将priority改的比其他节点大，然后重新加载配置文件即可（等MASTER切过来之后再将配置文件改回去再reload一下）。

 preempt_delay #抢占延时，默认5分钟
    debug #debug级别
    authentication { #设置认证
        auth_type PASS #认证方式
        auth_pass 111111 #认证密码（密码只识别前8位）
    }
     virtual_ipaddress { #设置vip
         192.168.202.200
     }
}
virtual_server 192.168.202.200 23 {
    delay_loop 6 #健康检查时间间隔（实际并不一定完全是6秒，测试结果是小于6秒的随机值？）
    lb_algo rr  #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh
    lb_kind DR  #负载均衡转发规则NAT|DR|TUN
    persistence_timeout 5 #会话保持时间
    protocol TCP #使用的协议
    persistence_granularity <NETMASK> #lvs会话保持粒度
    virtualhost <string> #检查的web服务器的虚拟主机（host：头）   
    sorry_server<IPADDR> <port> #备用机，所有realserver失效后启用
    real_server 192.168.200.5 23 {
            weight 1 #默认为1,0为失效
            inhibit_on_failure #在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除
            notify_up <string> | <quoted-string> #在检测到server up后执行脚本
            notify_down <string> | <quoted-string> #在检测到server down后执行脚本
           
			TCP_CHECK {
             	connect_timeout 3 #连接超时时间
            	nb_get_retry 3 #重连次数
            	delay_before_retry 3 #重连间隔时间
            	connect_port 23  #健康检查的端口的端口
           	 	bindto <ip>  #检查的IP地址
           }
            HTTP_GET | SSL_GET{
                 url{ #检查url，可以指定多个
                      path /
                      digest <string> #检查后的摘要信息
                      status_code 200 #检查的返回状态码，301 302 
                    }
                 connect_port <port>
                 bindto <IPADD>
                 connect_timeout 5
                 nb_get_retry 3
                 delay_before_retry 2
            }

            SMTP_CHECK{
                 host{
                    connect_ip <IP ADDRESS>
                    connect_port <port> #默认检查25端口
                    bindto <IP ADDRESS>
                      }
                 connect_timeout 5
                 retry 3
                 delay_before_retry 2
                 helo_name <string> | <quoted-string> #smtp helo请求命令参数，可选
            }
            MISC_CHECK{
                misc_path <string> | <quoted-string> #外部脚本路径
                misc_timeout #脚本执行超时时间
                misc_dynamic #如设置该项，则退出状态码会用来动态调整服务器的权重，返回0 正常，不修改；返回1，检查失败，权重改为0；返回2-255，正常，权重设置为：返回状态码-2
            }}

三、名词解释

虚拟路由器：由一个Master路由器和多个Backup路由器组成。主机将虚拟路由器当作默认网关;

VRID：虚拟路由器的标识。有相同VRID的一组路由器构成一个虚拟路由器;

Master路由器：虚拟路由器中承担报文转发任务的路由器;

Backup路由器 ：Master路由器出现故障时，能够代替Master路由器工作的路由器;

虚拟IP 地址：虚拟路由器的IP 地址。一个虚拟路由器可以拥有一个或多个IP地址;

IP地址拥有者：接口IP地址与虚拟IP地址相同的路由器被称为IP地址拥有者;

虚拟MAC地址：一个虚拟路由器拥有一个虚拟MAC地址。通常情况下，虚拟路由器回应ARP请求使用的是虚拟MAC地址，只有虚拟路由器做特殊配置的时候，才回应接口的真实MAC地址;

优先级：VRRP根据优先级来确定虚拟路由器中每台路由器的地位;

非抢占方式：如果Backup路由器工作在非抢占方式下，则只要Master路由器没有出现故障，Backup路由器即使随后被配置了更高的优先级也不会成为Master路由器;

抢占方式：如果Backup路由器工作在抢占方式下，当它收到VRRP报文后，会将自己的优先级与通告报文中的优先级进行比较。如果自己的优先级比当前的Master路由器的优先级高，就会主动抢占成为Master路由器；否则，将保持Backup状态

四、高级使用

1、介绍

Keeaplived 主要有两种应用场景，一个是通过配置keepalived结合ipvs做到负载均衡（LVS+Keepalived）。另一个是通过自身健康检查、资源接管功能做高可用（双机热备），实现故障转移。

以下内容主要针对Keepalived+MySQL双主实现双机热备为根据，主要讲解keepalived的状态转换通知功能，利用此功能可有效加强对MySQL数据库监控。

2、keepalived主要作用

keepalived采用VRRP（virtual router redundancy protocol），虚拟路由冗余协议，以软件的形式实现服务器热备功能。通常情况下是将两台linux服务器组成一个热备组（master-backup），同一时间热备组内只有一台主服务器（master）提供服务，同时master会虚拟出一个共用IP地址（VIP），这个VIP只存在master上并对外提供服务。如果keepalived检测到master宕机或服务故障，备服务器（backup）会自动接管VIP成为master，keepalived并将master从热备组移除，当master恢复后，会自动加入到热备组，默认再抢占成为master，起到故障转移功能。

3、工作在三层、四层和七层原理

Layer3：工作在三层时，keepalived会定期向热备组中的服务器发送一个ICMP数据包，来判断某台服务器是否故障，如果故障则将这台服务器从热备组移除。

Layer4：工作在四层时，keepalived以TCP端口的状态判断服务器是否故障，比如检测mysql 3306端口，如果故障则将这台服务器从热备组移除。

! Configuration File for keepalived
        global_defs {
        notification_email {     
        example@163.com  
        }    
        notification_email_from  example@example.com
        smtp_server 127.0.0.1
        smtp_connect_timeout 30
        router_id MYSQL_HA
        }
        vrrp_instance VI_1 {  
        state BACKUP
        interface eth1
        virtual_router_id 50      
        nopreempt                   #当主down时，备接管，主恢复，不自动接管      
        priority 100      
        advert_int 1
        authentication {         
        auth_type PASS   
        ahth_pass 123       
        }      
        virtual_ipaddress {     
        192.168.1.200          #虚拟IP地址
   
        }
       virtual_server 192.168.1.200 3306 {            
        delay_loop 6
        #    lb_algo rr 
        #    lb_kind NAT
        persistence_timeout 50    
        protocol TCP  
        real_server 192.168.1.201 3306 {       #监控本机3306端口        
        weight 1   
        notify_down /etc/keepalived/kill_keepalived.sh   #检测3306端口为down状态就执行此脚本（只有keepalived关闭，VIP才漂移 ）   
        TCP_CHECK {         #健康状态检测方式，可针对业务需求调整（TTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK）
			connect_timeout 3           
        	nb_get_retry 3             
        	delay_before_retry 3     
       		 }  
        #MISC_CHECK {                       ## 使用 MISC_CHECK 方式自定义脚本做健康检查
        #    misc_path "/etc/keepalived/check.sh"    ## 检测脚本
        #    misc_timeout   10              ## 执行脚本的超时时间
        #    misc_dynamic                   ## 根据退出状态码动态调整服务器的权重
        #    }

        }
   }

Layer7：工作在七层时，keepalived根据用户设定的策略判断服务器上的程序是否正常运行，如果故障则将这台服务器从热备组移除。

! Configuration File for keepalived
        global_defs {
        notification_email {
        example@163.com
        }
             
        notification_email_from  example@example.com      
        smtp_server 127.0.0.1
        smtp_connect_timeout 30
        router_id MYSQL_HA
        }
        vrrp_script check_nginx {   
        script /etc/keepalived/check_nginx.sh    #检测脚本
        interval 2   #执行间隔时间
		}
        vrrp_instance VI_1 {
        state BACKUP
        interface eth1
        virtual_router_id 50
        nopreempt                   #当主down时，备接管，主恢复，不自动接管
        priority 100 
        advert_int 1
        authentication {   
        auth_type PASS        
        ahth_pass 123     
        }     
        virtual_ipaddress {
          192.168.1.200          #虚拟IP地址   
        }     
        track_script {          #在实例中引用脚本    
        check_nginx      
        }  
   }

脚本内容如下：

     # cat /etc/keepalived/check_nginx.sh
        Count1=`netstat -antp |grep -v grep |grep nginx |wc -l`
        if [ $Count1 -eq 0 ]; then
        	/usr/local/nginx/sbin/nginx
        	sleep 2  
        	Count2=`netstat -antp |grep -v grep |grep nginx |wc -l`
        	if [ $Count2 -eq 0 ]; then 
        		service keepalived stop      
        	else
        		exit 0
        	fi 
        else   
        	exit 0
        fi 

   #也可以简单如下：
	      #!/bin/bash
	[[ `ps -C nginx --no-header |wc -l` -eq 0 ]] && exit 1 || exit 0
	# 如果没有nginx进程 返回错误状态1  
	#if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
	#        echo "$(date) nginx pid not found">>/etc/keepalived/keepalived.log
	#        #killall keepalived
	#fi
#在keepalived主机中，运行如下脚本，用来检测本机的nginx进行状态
vim start_keepalived.sh
#!/bin/bash
while true
do
	if pgrep nginx &> /dev/null;then
		systemctl start keepalived
	fi
	sleep 3

done



#mysql 检测脚本如下：
	#!/bin/bash
	[[ `ps -C mysqld --no-header |wc -l` -eq 0 ]] && exit 1 || exit 0
	# 如果没有nginx进程 返回错误状态1  
	if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
	        echo "$(date) nginx pid not found">>/etc/keepalived/keepalived.log
	        killall keepalived
	fi