keepalived

最新推荐文章于 2025-11-11 18:57:01 发布

原创最新推荐文章于 2025-11-11 18:57:01 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

MySQL 同时被 2 个专栏收录

109 篇文章

订阅专栏

Linux

5 篇文章

订阅专栏

如果只有LVS那么只可以实现负载均衡，但可能会出现一种情况：
当lvs集群中某个节点出现故障，此时如果分配请求给该节点，会出现错误
比如web服务器，正常的节点可以访问页面，而故障节点无法打开页面
此时就需要keepalived，从集群中剔除故障节点

keepalived主要实现三个功能：

1.实现ip地址飘移。比如有A和B两个节点，默认前端应用连接的是A节点的IP地址（通常也是vip),A节点出现故障的话，则将A节点的IP地址飘移到B节点，前端应用的请求就会由B节点来响应，这样对于前端的应用来说故障就是透明的。
2.生成IPVS规则。说得直白一些，就是直接在keepalived中，配置通过ipvsadm命令创建的一系列规则 –他这个LVS不能俩节点又HA有自己俩人LB，他这个LB是以自己做directserver搞别人用的
3.执行健康检查。即使检测到节点故障，并定义检测到故障后的处理策略

keepalived可以说为lvs而生，仅使用lvs时，需要使用下面的方法通过ipvsadm配置lvs：

 directserver 192.168.182.130
vip 192.168.182.100
realserver 192.168.182.10
realserver 192.168.182.11
服务器脚本：
lvs server :
ifconfig eth0:0 192.168.182.100 netmask 255.255.255.255
route add -host 192.168.182.100 dev eth0:0
ipvs:
ipvsadm -C
ipvsadm -At 192.168.182.100:80 -s rr
ipvsadm -at 192.168.182.100:80 -r 192.168.182.10:80 -g
ipvsadm -at 192.168.182.100:80 -r 192.168.182.11:80 -g
real server:
ifconfig lo:0 192.168.182.100 netmask 255.255.255.255
route add -host 192.168.182.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore  
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce  
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

而有了keepalived，就可以直接在keepalived重配置，也可以实现和ipvsadm一样的效果

安装keepalived

tar -zxvf keepalived-1.2.19.tar.gz
cd keepalived-1.2.19
./configure —prefix=/usr/local/keepalived —with-kernel-dir=/usr/src/kernels/3.10.0-327.22.2.el7.x86_64

“–with-kernel-dir”这是个很重要的参数，但这个参数并不是要把Keepalived编译进内核，而是指定使用内核源码里面的头文件，就是include目录。如果要使用LVS时，才需要用到此参数，否则是不需要的。
我的centos7/usr/src/kernels下面为空，需要安装kernel-headers和kernel-devel包，使用yum安装即可
make && make install
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
vi /etc/keepalived/keepalived.conf

 ! Configuration File for keepalived
#全局定义部分
global_defs {
   notification_email { #这个邮件不太理解，没有密码咋发？
   root@localhost.localdomain
#设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警，需要开启本机的sendmail服务。
   }
   notification_email_from root@localhost.localdomain  
#设置邮件的发送地址
   smtp_server 127.0.0.1  
#设置smtp server地址，该地址必须是可到达的，否则会出错，如果不要求email报警，请用127.0.0.1
   smtp_connect_timeout 30
#设置连接smtp服务器超时时间
   router_id LVS_Keepalive
#运行Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息
}
#vrrp实例定义部分
vrrp_instance VI_1 {    
#实例名，自定义
    state MASTER       
#指定Keepalived的角色，MASTER表示此主机是主用服务器，BACKUP表示是备用服务器
    interface eth0
#指定HA监测网络的接口
    virtual_router_id 51
#虚拟路由标识，这个标识是一个数字，并且同一个vrrp实例使用唯一的标识，即同一个vrrp_instance下，MASTER和BACKUP必须是一致的
    priority 100
#定义优先级，数字越大，优先级越高，在一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级。
    advert_int 1
#设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {
#设定验证类型和密码
        auth_type PASS
#设置验证类型，主要有PASS和AH两种,PASS明文认证
        auth_pass 1111
#设置验证密码，在一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
    }
    virtual_ipaddress {
#设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个
        192.168.32.21
    }
}
#虚拟服务器定义部分
virtual_server 192.168.32.21 80 {
#设置虚拟服务器，需要指定虚拟ip地址和服务端口，ip与端口之间用空格隔开。
    delay_loop 6
#设置健康检查时间，单位是秒
    lb_algo rr
#设置负载调度算法，这里设置为rr，即轮询算法
    lb_kind DR
#设置LVS实现负载均衡的机制，可以有NAT、TUN和DR三个模式可选
    persistence_timeout 10
#会话保持时间，单位是秒，这个选项对于动态网页是非常有用的，为集群系统中session共享提供了一个很好的解决方案。有了这个会话保持功 能，用户的请求会被一直分发到某个服务节点，直到超过这个会话保持时间。需要注意的是，这个会话保持时间，是最大无响应超时时间，也就是说用户在操作动态 页面时，如果在50秒内没有执行任何操作，那么接下来的操作会被分发到另外节点，但是如果一直在操作动态页面，则不受50秒的时间限制。
    protocol TCP
#指定转发协议类型，有tcp和udp两种
    real_server 192.168.32.32 80 {
#配置服务节点1，需要指定real server的真实IP地址和端口，ip与端口之间用空格隔开。
        weight 3
#配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值的大小可以为不同性能的服务器分配不同的负载，可以对性能高的服务器设置较高的权值，而对性能较低的服务器设置相对较低的权值，这样就合理的利用和分配了系统资源。
        TCP_CHECK {
#realserve的状态检测设置部分，单位是秒
            connect_timeout 3
#10秒无响应超时
            nb_get_retry 3
#重试次数
            delay_before_retry 3
#重试间隔
            connect_port 80
        }
    }
    real_server 192.168.32.33 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

每个节点都要安装lvs 和keepalived

启动keepalived

service keepalived start
ipvsadm -L -n

测试

此时停掉一个节点，通过ipvsadm -L -n观察，已经没有了停掉的节点

keepalived的健康检查方式

可以参考这个链接http://www.360doc.com/content/14/0415/10/1123425_369112257.shtml
也可以使用自己写的脚本检测
vrrp_script check_run {
script "/home/mysql/check_mysql.sh"
interval 5
weigh -2 #如果脚本运行失败就-2
}
check_mysql.sh为自己写的脚本

 cat /home/mysql/check_mysql.sh
#!/bin/bash
MYSQL_PROCESS_COUNT=`ps -ef | grep mysqld | grep -v grep | wc -l`
if [ "$MYSQL_PROCESS_COUNT" -ne 2 ]
then
    pkill keepalived
    exit 1
else
    exit 0
fi
这个脚本判断mysqld进程有几个

如果只是使用vip功能，还可以不通过keepalived，而是写脚本，通过crontab检查mysql状态，异常时kill掉keepalived，实现隔离
http://blog.youkuaiyun.com/lichangzai/article/details/50484455#comments

keepalived vip只会存在于一个节点，当failover时，vip漂移到令一节点。ha关系由vrr instance确定
而load balance由virtual server real server确定，virtual server ip需指定，可以为vip?
当real server发生故障，自动踢出ipvs组中

关于不抢占nopreempt

当Master出现问题后，Backup会竞选为新的Master，那么当之前的Master重新Online后，是继续成为Master还是变成Backup呢？
默认情况下，如果没设置不抢占，那么之前的Master起来后会继续抢占成为Master，也就是说整个过程需要两次切换：
1.Master->Backup
2.Backup->Master
这样对业务频繁的切换时不能容忍的，因此我们希望Master起来后，成为Backup！所以要设置不抢占.Keepalived里面提供了nopreempt这个配置，但是这个配置只能用在state为Backup的机器上，但是我们明明希望的是Master不抢占，没办法，Master的state也得设置成Backup。也就是说192.168.1.3和192.168.1.4都要将state设置为Backup！
那么到底谁是Master？抢占吧，通过priority,所以我们在两台Backup上面通过设置不同的priority来让他们一起来就抢占，搞priority的192.168.1.3成为最初的Master