Linux 搭建 nginx+keepalived 高可用 | Nginx反向代理

斐夷所非

已于 2024-12-28 08:02:13 修改

阅读量1k

点赞数 27

CC 4.0 BY-SA版权

分类专栏： Linux 文章标签： keepalived

于 2024-12-27 23:38:45 首次发布

本文链接：https://blog.youkuaiyun.com/u013669912/article/details/144702236

注意：本文为 “Linux 搭建 nginx+keepalived (主备+双主模式) 高可用 | Nginx反向代理” 相关文章合辑。

Keepalived+Nginx实现高可用（HA）

xyang0917 于 2016-09-17 00:24:15 发布

keepalived 的 HA 分为抢占模式和非抢占模式，抢占模式即 MASTER 从故障中恢复后，会将 VIP 从 BACKUP 节点中抢占过来。非抢占模式即 MASTER 恢复后不抢占 BACKUP 升级为 MASTER 后的 VIP。下面分别介绍 CentOS7 下抢占模式和非抢占模式的配置方式：

1、方案规划

VIP	IP	主机名	Nginx端口
192.168.1.210	192.168.1.201	nginx-01	80
192.168.1.210	192.168.1.202	nginx-02	80

两台服务器的 VIP 为：192.168.1.210

分别在两台 WEB 服务器安装 nginx 和 keepalived：

1、安装 Nginx，请参考《Nginx源码安装》

http://blog.youkuaiyun.com/xyang81/article/details/51476293)

2、安装 Keepalived，请参考《Keepalived安装与配置》

http://blog.youkuaiyun.com/xyang81/article/details/52554398

3、防火墙添加 arrp 组播规则，或关闭防火墙

1> iptables

shell> vi /etc/sysconfig/iptables
-A INPUT -p vrrp -d 224.0.0.18/32 -j ACCEPT

2> firewall

firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface enp4s0 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --reload

4、关闭selinux

shell> vi /etc/sysconfig/selinux
#修改:
SELINUX=disabled
#setenforce 0

2、抢占模式配置

编辑/etc/keepalived/keepalived.conf配置文件

1> MASTER（192.168.1.201）：

global_defs {
   router_id nginx_01  #标识本节点的名称，通常为hostname
}

## keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。
##如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加。如果脚本执行结果非0,
##并且weight配置的值小于 0,则优先级相应的减少。其他情况,维持原本配置的优先级,即配置文件中priority对应的值。
vrrp_script chk_nginx {
       script "/etc/keepalived/nginx_check.sh"
       interval 2  #每2秒检测一次nginx的运行状态
       weight -20  #失败一次，将自己的优先级-20
}
vrrp_instance VI_1 {
    state MASTER                  # 状态，主节点为MASTER，备份节点为BACKUP
    interface enp0s3              # 绑定VIP的网络接口，通过ifconfig查看自己的网络接口
    virtual_router_id 51          # 虚拟路由的ID号,两个节点设置必须一样,可选IP最后一段使用,相同的VRID为一个组,他将决定多播的MAC地址
    mcast_src_ip 192.168.1.201    # 本机IP地址
    priority 100                  # 节点优先级，值范围0～254，MASTER要比BACKUP高
    advert_int 1                  # 组播信息发送时间间隔，两个节点必须设置一样，默认为1秒
    # 设置验证信息，两个节点必须一致
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 虚拟IP，两个节点设置必须一样。可以设置多个，一行写一个
    virtual_ipaddress {
        192.168.1.210
    }
    track_script {
       chk_nginx  # nginx存活状态检测脚本
    }
}

2> BACKUP（192.168.1.202）

global_defs {
   router_id nginx_02
}
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh"
    interval 2
    weight -20
}
vrrp_instance VI_1 {
    state BACKUP
    interface enp0s3
    virtual_router_id 51
    mcast_src_ip 192.168.1.202
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.210
    }
    track_script {
       chk_nginx
    }
}

3> 创建nginx服务检测脚本

分别在主备服务器/etc/keepalived目录下创建nginx_check.sh脚本，并为其添加执行权限

chmod +x /etc/keepalived/nginx_check.sh

用于 keepalived 定时检测 nginx 的服务状态，如果 nginx 停止了，会尝试重新启动 nginx，如果启动失败，会将 keepalived 进程杀死，将 vip 漂移到备份机器上。

#!/bin/bash
A=`ps -C nginx --no-header | wc -l`
if [ $A -eq 0 ];then
    /opt/nginx/sbin/nginx #尝试重新启动nginx
    sleep 2  #睡眠2秒
    if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
        killall keepalived #启动失败，将keepalived服务杀死。将vip漂移到其它备份节点
    fi
fi

4> 启动 keepalived 服务

shell> service keepalived start
shell> ps -ef | grep keepalived
[root@localhost ~]# ps -ef | grep keepalived
root       865     1  0 23:36 ?        00:00:00 keepalived -D
root       869   865  0 23:36 ?        00:00:00 keepalived -D
root       870   865  0 23:36 ?        00:00:00 keepalived -D

如果看到如上进程信息，表示keepalived已经启动成功。下面用ip add命令查看vip绑定的情况，如下图所示：

这里写图片描述

从上图可以看出，vip地址192.168.1.210绑定在MASTER（192.168.1.201)的enp0s3网卡上。

5> 测试故障转移

将MASTER上的keepalived停止，查看vip是否会漂移到192.168.2.202上。

停止201的keepalived服务：

shell> service keepalived stop
shell> ip addr12

这里写图片描述
从上图可以看出，vip已经成功从201漂移到了202。此时再将201的keepalived服务启动后，由于201是MASTER，所以会将202的VIP抢占过来。

启动201的keepalived服务：

shell> service keepalived start1

结果VIP又回到了201，如下图所示：
这里写图片描述

3、非抢占模式

master从故障中恢复后，不会抢占备份节点的vip

1> MASTER（192.168.1.201）：

global_defs {
   router_id nginx_01  #标识本节点的名称，通常为hostname
}

vrrp_script chk_nginx {
       script "/etc/keepalived/nginx_check.sh"
       interval 2
       weight -20
}

vrrp_instance VI_1 {
    state BACKUP
    interface enp0s3
    virtual_router_id 51
    mcast_src_ip 192.168.1.201
    priority 100
    advert_int 1
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.210
    }

    track_script {
       chk_nginx  # nginx存活状态检测脚本
    }
}

2> BACKUP（192.168.1.202）

global_defs {
   router_id nginx_02
}

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh"
    interval 2
    weight -20
}

vrrp_instance VI_1 {
    state BACKUP
    interface enp0s3
    virtual_router_id 51
    mcast_src_ip 192.168.1.202
    priority 90
    advert_int 1
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.210
    }
    track_script {
       chk_nginx
    }
}

和非抢占模式的配置相比，只改了两个地方：
1> 在vrrp_instance块下两个节点各增加了nopreempt指令，表示不争抢vip
2> 节点的state都为BACKUP
两个keepalived节点都启动后，默认都是BACKUP状态，双方在发送组播信息后，会根据优先级来选举一个MASTER出来。由于两者都配置了nopreempt，所以MASTER从故障中恢复后，不会抢占vip。这样会避免VIP切换可能造成的服务延迟。

Linux搭建nginx+keepalived 高可用(主备+双主模式)

the丶only于 2021-06-30 21:46:15 发布

一：keepalived简介

反向代理及负载均衡参考：

nginx反向代理与负载均衡
https://blog.youkuaiyun.com/weixin_52270081/article/details/118297655

当你了解会搭建 nginx 负载均衡后，需要考虑nginx这台服务器的安全性啦，如果只有一台，这台 nginx 一出问题，web 就会无法访问的情况，所以为了应对这种情况，就需要两台nginx做主备服务器。

nginx+keepalived如下图所示：在这里插入图片描述

Keepalived：
是 Linux 下面实现 VRRP 备份路由的高可靠性运行件。基于 Keepalived 设计的服务模式能够真正做到主服务器和备份服务器故障时 IP 瞬间无缝交接。

VRRP 协议：全称 Virtual Router Redundancy Protocol
即虚拟路由冗余协议。可以认为它是实现路由器高可用的容错协议，即将 N 台提供相同功能的路由器组成一个路由器组 (RouterGroup)，这个组里面有一个 master 和多个 backup，但在外界看来就像一台一样，构成虚拟路由器，拥有一个虚拟 IP（vip，也就是路由器所在局域网内其他机器的默认路由），占有这个 IP 的 master 实际负责 ARP 相应和转发 IP 数据包，组中的其它路由器作为备份的角色处于待命状态。master 会发组播消息，当 backup 在超时时间内收不到 vrrp 包时就认为 master 宕掉了，这时就需要根据 VRRP 的优先级来选举一个 backup 当 master，保证路由器的高可用。

总结：两台主备机器通过keepalived，虚拟一个IP，也就是VIP，不是贵宾的意思，是Virtual IP的意思。VIP开始为主机器所有，备份机为空闲状态，同时在两台keepalived之间通信相当于有一条心跳线，通过心跳线互相通信，只要主机器监控（通过脚本）到ngin服务停止，则主机器自己停止keepalived，将VIP交给备份机器处理web请求，直至主机器再次恢复正常，将VIP返还给主机器。

高可用有2种方式：
1、Nginx+keepalived 主从配置
这种方案，使用一个vip地址，前端使用2台机器，一台做主，一台做备，但同时只有一台机器工作，另一台备份机器在主机器不出现故障的时候，永远处于浪费状态，对于服务器不多的网站，该方案不经济实惠。

2、Nginx+keepalived 双主配置
这种方案，使用两个vip地址，前端使用2台机器，互为主备，同时有两台机器工作，当其中一台机器出现故障，两台机器的请求转移到一台机器负担，非常适合于当前架构环境。

如下图所示：在这里插入图片描述

模拟搭建环境：4台主机：系统centos7，注：本人搭建的环境为双网卡模式，192.168.200.0/24外网，172.16.2.0/内网。所以本文配置的VIP均为外网IP。

nginx1：172.16.2.50（已安装nginx）外网ip：192.168.200.150
nginx2：172.16.2.51（已安装nginx）外网ip：192.168.200.151
web1：172.16.2.20（已安装nginx，php）
web1：172.16.2.21（已安装nginx，php）
目的：配置nginx主备，模拟其中一台服务终止后，另外一台可正常访问到web服务器，当那台恢复正常时，两台恢复同时处理请求。

二：在nginx服务安装keepalived软件

keepalived官网：https://www.keepalived.org/

由于yum安装的版本实在太旧了，所以自己下载下来编译安装（不嫌弃旧版本的直接yum -y install keepalived一步到位即可）。

1：安装基础依赖包，有的话就没必要安装了：
主要是gcc ，openssl-devel， libnl， libnl-devel， libnfnetlink-devel， net-tools， vim这几个包。

yum install -y gcc openssl-devel libnl libnl-devel libnfnetlink-devel net-tools vim

2：在官网下载最新版：
目前最新版为2.2.2

wget https://www.keepalived.org/software/keepalived-2.2.2.tar.gz

3: 解压到指定目录，并重命名：
解压，移动到/usr/local目录，重命名keepalived文件夹

tar -zxvf keepalived-2.2.2.tar.gz
mv keepalived-2.2.2 /usr/local/keepalived

4：进入目录编译安装：

cd /usr/local/keepalived/
./configure
make && make install

5：复制相关文件到系统中：
（之所以不喜欢编译安装，就是这一步，由于版本不同，移少

最低0.47元/天解锁文章