21、高可用性负载均衡与Keepalived配置全解析

高可用性负载均衡与Keepalived配置全解析

在当今的网络环境中，高可用性是确保服务稳定运行的关键因素。本文将深入探讨负载均衡算法、LVS（Linux Virtual Server）的负载均衡方法，以及如何使用Keepalived实现高可用性的主动/备份配置。

1. 负载均衡算法选择

不同的服务场景需要不同的负载均衡算法。对于使用长持久连接的服务，如在线游戏服务器，最少连接算法（Least Connection）更为适用。因为如果新连接相对较少，但每个连接的资源消耗较高，使用轮询（Round Robin）方法可能会导致部分服务器过载或负载分配不均。最少连接算法通过跟踪每个服务器的活动连接数，有效解决了这一问题。

而当响应延迟是服务质量的关键因素时，最短预期延迟（Shorted Expected Delay）和永不排队（Never Queue）算法可以改善性能，因为轮询和最少连接算法完全不考虑响应时间。

2. LVS负载均衡方法

LVS提供了三种负载均衡方法：直接路由（Direct routing）、IP隧道（IP tunneling）和网络地址转换（NAT）。以下是它们的详细对比：
| 机制 | 实现方式 | 优点 | 缺点 |
| — | — | — | — |
| 直接路由 | 替换目标MAC地址 | 性能最佳；真实服务器直接向客户端发送回复 | 所有服务器必须在同一网络；ARP处理困难 |
| IP隧道 | 使用隧道协议封装客户端请求 | 真实服务器可在任何网络；真实服务器直接向客户端发送回复 | 真实服务器必须支持IPIP隧道，并与虚拟服务器建立隧道；返回数据包可能被视为伪造而被拒绝 |
| NAT | 后台创建NAT规则 | 真实服务器无需公共地址或特殊配置 | 相对资源密集；所有流量都通过虚拟服务器 |

2.1 NAT负载均衡

NAT是LVS最实用的负载均衡方法。真实服务器不需要具有公开可路由的IP地址，也不需要了解虚拟服务器或进行特殊配置。这在IPv4地址短缺的网络中尤为重要，同时也简化了配置过程。

以下是设置虚拟服务器监听HTTP请求并转发到真实服务器的示例：

root@virtual-server# ipvsadm --add-service --tcp-service 192.168.56.100:80
root@virtual-server# ipvsadm --add-server --tcp-service 192.168.56.100:80 --real-server 10.20.30.2:8000 --masquerading

也可以使用短格式命令：

ipvsadm -A -t 192.168.56.100:80 -s rr

使用 ipvsadm –list 命令可以验证虚拟服务器的配置：

root@virtual-server# ipvsadm –list
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port        Forward Weight ActiveConn InActConn
TCP  192.168.56.100:http rr
  -> 10.20.30.2:8000          Masq    1      0          0

在客户端运行 wget http://192.168.56.100:80 并在真实服务器上进行流量捕获，可以看到请求和响应的情况。虽然虚拟服务器完全接管了客户端和真实服务器之间的通信，理论上会增加流量，但在实践中，Linux网络性能良好，且数据包转发和端口/地址转换在内核空间进行，性能优于用户空间的负载均衡应用。

2.2 直接路由负载均衡

设置LVS进行直接路由时，需要在添加真实服务器时使用 --gatewaying (-g) 选项：

root@virtual-server# ipvsadm --add-service --tcp-service 10.20.30.1:8000
root@virtual-server# ipvsadm --add-server --tcp-service 10.20.30.1:8000 --real-server 10.20.30.2 --gatewaying

当虚拟服务器收到请求时，会将数据包中的MAC地址更改为真实服务器的MAC地址并重新发送。真实服务器直接向客户端回复，不会给虚拟服务器增加额外负载。但该方法对真实服务器要求较高，所有真实服务器必须在同一广播网段，并且能够响应与服务IP相同的虚拟IP的数据包，通常需要将虚拟服务IP作为别名分配。为避免地址冲突，除虚拟服务器外的所有节点必须忽略虚拟IP的ARP请求，可以使用 arptables 工具实现：

root@real-server# arptables -A IN -d 10.20.30.1 -j DROP
root@real-server# arptables -A OUT -d 10.20.30.1 -j mangle --mangle-ip-s 10.20.30.2

由于配置复杂，该方法在大多数网络中不太实用。

2.3 IP隧道负载均衡

设置虚拟服务器进行IP隧道时，需要在添加真实服务器时使用 --ipip (-i) 选项：

root@virtual-server# ipvsadm --add-service --tcp-service 192.168.56.100:8000
root@virtual-server# ipvsadm --add-server --tcp-service 192.168.56.100:8000 --real-server 10.20.30.2 --ipip

然后在真实服务器上设置IPIP隧道：

root@real-server# ip tunnel add ipip1 mode ipip local 10.20.30.2
root@real-server# ip link set dev ipip1 up
root@real-server# ip address add 192.168.56.100/32 dev ipip1

虽然该方法理论上允许真实服务器位于任何网络，但在实践中存在一些困难。真实服务器的操作系统必须支持IPIP隧道，并且在采取防源IP欺骗措施的网络中，该方案可能会失效。

3. 保存和恢复LVS配置

可以使用 ipvsadm --save 命令将当前LVS配置导出为可从标准输入加载的格式：

root@virtual-server# ipvsadm --save
-A -t 192.168.56.100:http -s wlc
-a -t 192.168.56.100:http -r 10.20.30.2:8000 -m -w 1

将输出保存到文件后，可以使用 ipvsadm --restore 命令恢复配置：

root@virtual-server# ipvsadm –save > lvs.conf
root@virtual-server# cat lvs.conf | ipvsadm --restore

但在实践中，使用Keepalived或其他用户空间守护进程自动化LVS配置更为推荐。

4. 额外的LVS选项

4.1 连接持久性

默认情况下，LVS将客户端的连接均衡分配到所有服务器，不将客户端与特定服务器匹配。对于某些使用长持久和有状态连接的服务，如远程桌面连接，这种方式可能不适用。为了让LVS记住客户端到服务器的映射，并将同一客户端的新连接发送到同一服务器，可以使用 --persistent 选项，并可选择指定持久化超时时间：

ipvsadm --add-service --tcp-service 192.168.56.100:80 --persistent 600

该命令创建的服务器将在600秒内记住客户端到服务器的关联。

4.2 连接状态同步

LVS的连接状态同步守护进程是其一个显著特性。它通过IP组播将连接状态发送到对等节点，但连接状态同步本身没有实际意义，除非有故障转移机制，以便在主负载均衡节点故障时将虚拟IP转移到备份节点。

5. Keepalived实现主动/备份配置和负载均衡

在使用LVS进行负载均衡时，负载均衡器本身可能成为单点故障。为了解决这个问题，可以使用浮动虚拟IP地址和虚拟路由器冗余协议（VRRP）。Keepalived是Linux上最流行的VRRP实现，它不仅支持VRRP，还提供了LVS的配置前端，无需手动使用 ipvsadm 设置LVS。

5.1 安装Keepalived

在不同的Linux发行版上安装Keepalived的命令如下：
- Fedora、RHEL及其社区衍生版（如Rocky Linux）：

sudo dnf install keepalived

• Debian、Ubuntu等使用APT的发行版：

sudo apt-get install keepalived

5.2 VRRP协议基础

VRRP和类似协议（如HSRP和CARP）基于选举主节点并通过监听其存活数据包持续检查其状态的思想。初始时，每个节点都假设自己可能是主节点，并开始发送包含VRRP实例唯一标识符和优先级值的存活数据包（在VRRP术语中称为广告）。同时，它们监听传入的VRRP广告数据包。如果节点收到优先级高于自己的数据包，它将承担备份角色并停止发送存活数据包。优先级最高的节点成为主节点，并将虚拟地址分配给自己。

主节点定期发送VRRP广告数据包以表明其正常运行。其他节点在收到这些数据包时保持备份状态。如果原主节点停止发送VRRP数据包，将发起新的选举。

当原主节点在故障后重新出现时，有两种情况。默认情况下，在Keepalived实现中，优先级最高的节点将始终抢占，在其停机期间承担其角色的节点将回到备份状态。但抢占可能导致额外的故障转移事件，可能导致连接中断和短暂的服务中断。如果不希望出现这种情况，可以禁用抢占。

5.3 配置VRRP

以下是一个简单的VRRP配置示例：

vrrp_instance LoadBalancers {
    state BACKUP
    interface eth1
    virtual_router_id 100
    priority 100
    advert_int 1
    nopreempt
    virtual_ipaddress {
        10.20.30.100/24
    }
}

将该配置保存到Keepalived配置文件（通常为 /etc/keepalived/keepalived.conf ）。

• state 选项定义路由器的初始状态，建议在所有路由器上指定为 BACKUP ，因为它们会自动选举活动路由器。
• interface 指定VRRP广告数据包的来源网络接口。
• virtual_router_id 定义VRRP实例，取值范围为1到255。
• priority 指定路由器的优先级，取值范围为1到254，值越高越有可能成为主路由器。
• advert_int 指定广告数据包的传输间隔，默认为1秒。
• nopreempt 表示禁用抢占。
• virtual_ipaddress 指定虚拟IP地址，可以指定多个，最多20个。

5.4 验证VRRP状态

保存配置并启动Keepalived服务后，可以通过以下方法验证VRRP状态：
- 查看配置VRRP运行的网络接口的IP地址：

$ ip address show eth1

• 使用 tcpdump 工具验证服务器是否发送VRRP广告数据包：

$ sudo tcpdump -i eth1

• 直接从Keepalived请求VRRP状态数据：

$ cat /run/keepalived/keepalived.pid
$ sudo kill -USR1 <PID>
$ sudo cat /etc/keepalived.data

也可以通过发送 SIGUSR2 信号请求统计文件：

$ sudo kill -USR2 $(cat /run/keepalived.pid)
$ sudo cat /etc/keepalived.stats

通过合理选择负载均衡算法、使用LVS的不同负载均衡方法以及结合Keepalived实现高可用性的主动/备份配置，可以确保服务的稳定运行，提高网络的可靠性和性能。

6. 高可用性负载均衡方案总结

在构建高可用性负载均衡系统时，我们综合运用了负载均衡算法、LVS负载均衡方法以及Keepalived的主动/备份配置。下面通过一个流程图来展示整体的工作流程：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px

    A([客户端请求]):::startend --> B{选择负载均衡算法}:::decision
    B -->|最少连接算法| C(长持久连接服务):::process
    B -->|轮询算法| D(普通服务):::process
    B -->|最短预期延迟/永不排队算法| E(对响应延迟敏感服务):::process
    C --> F{选择LVS负载均衡方法}:::decision
    D --> F
    E --> F
    F -->|NAT| G(NAT负载均衡):::process
    F -->|直接路由| H(直接路由负载均衡):::process
    F -->|IP隧道| I(IP隧道负载均衡):::process
    G --> J(虚拟服务器处理请求):::process
    H --> J
    I --> J
    J --> K{是否需要连接持久性}:::decision
    K -->|是| L(设置连接持久性):::process
    K -->|否| M(正常负载均衡):::process
    L --> N(Keepalived主动/备份配置):::process
    M --> N
    N --> O([服务响应客户端]):::startend

从流程图可以看出，整个高可用性负载均衡系统的工作流程是一个有序的过程。首先根据服务的特点选择合适的负载均衡算法，然后选择LVS的负载均衡方法进行请求处理。在处理过程中，根据服务需求设置连接持久性。最后，通过Keepalived的主动/备份配置确保系统的高可用性。

7. 不同负载均衡方法的性能对比

为了更直观地了解不同LVS负载均衡方法的性能特点，我们可以通过以下表格进行对比：
| 负载均衡方法 | 性能指标 | 说明 |
| — | — | — |
| NAT | 资源消耗 | 相对较高，所有流量都通过虚拟服务器，需要进行地址和端口转换 |
| | 配置复杂度 | 低，真实服务器无需特殊配置 |
| | 网络适应性 | 适用于IPv4地址短缺的网络 |
| 直接路由 | 资源消耗 | 低，真实服务器直接响应客户端，虚拟服务器仅修改MAC地址 |
| | 配置复杂度 | 高，需要解决ARP冲突和地址分配问题 |
| | 网络适应性 | 要求所有服务器在同一广播网段 |
| IP隧道 | 资源消耗 | 中等，需要在真实服务器上设置隧道 |
| | 配置复杂度 | 中等，需要支持IPIP隧道协议 |
| | 网络适应性 | 理论上支持真实服务器在任何网络，但受防源IP欺骗机制影响 |

通过这个表格，我们可以根据实际的网络环境和服务需求，更准确地选择合适的负载均衡方法。

8. 高可用性系统的故障处理机制

在高可用性系统中，故障处理机制是至关重要的。当主负载均衡器出现故障时，Keepalived的VRRP协议会自动进行故障转移。以下是故障处理的详细步骤：
1. 检测故障 ：Keepalived通过定期发送和接收VRRP广告数据包来检测主负载均衡器的状态。如果备份节点在一定时间内没有收到主节点的广告数据包，就会认为主节点出现故障。
2. 选举新主节点 ：备份节点根据优先级进行新主节点的选举。优先级最高的备份节点将成为新的主节点。
3. 转移虚拟IP ：新的主节点将虚拟IP地址分配给自己，接管负载均衡服务。
4. 恢复服务 ：客户端的请求将通过新的主节点进行处理，服务恢复正常。

在这个过程中，连接状态同步功能可以确保新主节点能够继续处理之前的连接，减少服务中断的影响。

9. 高可用性系统的优化建议

为了进一步提高高可用性系统的性能和可靠性，我们可以采取以下优化建议：
- 合理选择负载均衡算法 ：根据服务的特点和需求，选择最合适的负载均衡算法，避免不必要的资源浪费。
- 优化LVS配置 ：根据网络环境和服务器性能，调整LVS的参数，如连接持久性时间、统计周期等。
- 定期备份配置 ：使用 ipvsadm --save 命令定期备份LVS配置，以便在需要时快速恢复。
- 监控系统状态 ：使用监控工具，如 tcpdump 、 ip address show 等，实时监控系统的运行状态，及时发现和解决问题。
- 测试故障转移 ：定期进行故障转移测试，确保Keepalived的VRRP协议能够正常工作。

10. 总结

通过对负载均衡算法、LVS负载均衡方法和Keepalived主动/备份配置的深入探讨，我们了解了如何构建一个高可用性的负载均衡系统。不同的负载均衡算法适用于不同的服务场景，LVS的三种负载均衡方法各有优缺点，而Keepalived的VRRP协议为系统提供了可靠的故障转移机制。

在实际应用中，我们需要根据具体的网络环境、服务需求和性能要求，综合考虑各种因素，选择最合适的方案。同时，通过优化配置和定期监控，不断提高系统的性能和可靠性，确保服务的稳定运行。

希望本文能够为你构建高可用性负载均衡系统提供有价值的参考，让你的网络服务更加稳定、高效。