负载均衡(LVS)三种工作模式

本文详细介绍了LVS(Linux Virtual Server)的三种工作模式:NAT、DR和TUN,以及fullnat模式。每种模式的原理、优缺点和配置步骤均有阐述,特别强调了DR模式要求调度器与真实服务器在同一网段,而NAT和TUN模式则能处理更大的请求量。此外,文章还提到了高可用性解决方案Keepalived和LVS调度算法,如轮叫、最少连接等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、LVS概述

LVS是Linux内核的一部分,因此性能较高
Linux虚拟服务器(即分发器或调度器): 不真正提供服务,但接受客户的访问,为整个集群提供一个唯一的入口
虚拟服务器和真实服务器(Real Server)通信

真实服务器(Real Server): 真正提供服务,集群中每个Real Server可以是物理机,也可以是虚拟机

VS/NAT: 网络地址转换模式, 进站/出站的数据流量经过分发器

VS/DR: 直接路由模式,只有进站的数据流量经过分发器
调度器和真实服务器必须在同一网段

VS/TUN: 隧道模式,只有进站的数据流量经过分发器

LVS调度算法
调度算法用于决定LVS如何选择后端的RealServer

  1. 轮叫调度(Round Robin)(简称rr)
    调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。

  2. 加权轮叫(Weighted Round Robin)(简称wrr)
    调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

  3. 最少链接(Least Connections)(LC)
    调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用 “最小连接” 调度算法可以较好地均衡负载。

4.加权最少链接(Weighted Least Connections)(WLC)
在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算 法 优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负
载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

  1. 基于局部性的最少链接(Locality-Based Least Connections)(LBLC)
    “基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的
    服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接”
    的原则选出一个可用的服务器,将请求发送到该服务器。

  2. 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)(LBLCR)
    “带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标
    IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按
    “最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台
    服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复
    制的程度。

  3. 目标地址散列(Destination Hashing)(DH)
    “目标地址散列”调度算法根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

  4. 源地址散列(Source Hashing)(SH)
    “源地址散列”调度算法根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

  5. 最短的期望的延迟(Shortest Expected Delay Scheduling SED)(SED)
    基于wlc算法。这个必须举例来说了
    ABC三台机器分别权重123 ,连接数也分别是123。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用sed算法后会进行这样一个运算
    A(1+1)/1
    B(1+2)/2
    C(1+3)/3
    根据运算结果,把连接交给C。

10.最少队列调度(Never Queue Scheduling NQ)(NQ)
无需队列。如果有台 realserver的连接数=0就直接分配过去,不需要在进行sed运算

二、四种工作模式的原理及优缺点

1.NAT模式(VS-NAT)

原理:
就是把客户端发来的数据包的IP头的目的地址,在负载均衡器上换成其中一台RS的IP地址,并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的原IP地址改为自己的IP,将目的地址改为客户端IP地址即可?期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器

优点:集群中的物理服务器可以使用任何支持TCP/IP操作系统,只有负载均衡器需要一个合法的IP地址。

缺点:扩展性有限。当服务器节点(普通PC服务器)增长过多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时,大量的数据包都交汇在负载均衡器那,速度就会变慢!

2.IP隧道模式(VS-TUN)

原理:
首先要知道,互联网上的大多Internet服务的请求包很短小,而应答包通常很大。那么隧道模式就是,把客户端发来的数据包,封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器?注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议?所以,在RS的内核中,必须编译支持IPTUNNEL这个选项

优点:负载均衡器只负责将请求包分发给后端节点服务器,而RS将应答包直接发给用户。所以,减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理很巨大的请求量,这种方式,一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。

缺点:隧道模式的RS节点需要合法IP,这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议,服务器可能只局限在部分Linux系统上。

3.直接路由模式(VS-DR)

原理:
负载均衡器和RS都使用同一个IP对外服务?但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默?也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC(因为IP一致)并将请求分发给这台RS?这时RS收到这个数据包,处理完成之后,由于IP一致,可以直接将数据返给客户,则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端?由于负载均衡器要对二层包头进行改换,所以负载均衡器和RS之间必须在一个广播域,也可以简单的理解为在同一台交换机上

优点:和TUN(隧道模式)一样,负载均衡器也只是分发请求,应答包通过单独的路由方法返回给客户端。与VS-TUN相比,VS-DR这种实现方式不需要隧道结构,因此可以使用大多数操作系统做为物理服务器。

缺点:(不能说缺点,只能说是不足)要求负载均衡器的网卡必须与物理网卡在一个物理段上。

4.FULLNAT模式
FULLNAT模式可以解决lvs和rs跨vlan的问题,从此lvs和rs不再存在vlan上的从属关系,可以作到多个lvs对应多个rs,解决水平扩容的问题。

FULLNAT在NAT模式上做了如下改进:
在DNAT时,源地址从客户端的ip被替换成了lvs内网ip。而内网ip之间,可以通过多个交换机跨vlan通信。当rs返回经过处理的数据包时,会将这个数据包返回到lvs的内网ip上,此时lvs进行源地址转换(SNAT),把数据包的目的地址从lvs内网ip替换为客户端ip。

三、四种模式操作

VS/DR工作模式
1.后端服务器无arptables策略

调度服务器(VS)的配置

# 配置yum源
[rhel-source]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

[HighAvailability]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/HighAvailability
gpgcheck=0

[LoadBalancer]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/LoadBalancer
gpgcheck=0

[ResilientStorage]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/ResilientStorage
gpgcheck=0

[ScalableFileSystem]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/ScalableFileSystem
gpgcheck=0

# 安装ipvsadm
[root@server1 ~]# yum install ipvsadm -y

# 添加虚拟ip(vip)
[root@server1 ~]# ip addr add 172.25.10.100/24 dev eth0
[root@server1 ~]#  ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:88:1f:4e brd ff:ff:ff:ff:ff:ff
    inet 172.25.10.1/24 brd 172.25.10.255 scope global eth0
    inet 172.25.10.100/24 scope global secondary eth0
    inet6 fe80::5054:ff:fe88:1f4e/64 scope link 
       valid_lft forever preferred_lft forever

# 定义集群,并设置节点
[root@server1 ~]# ipvsadm -A -t 172.25.10.100:80 -s rr
# 查看策略
[root@server1 ~]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.10.100:http rr
# 添加节点
[root@server1 ~]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.2:80 -g
[root@server1 ~]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.3:80 -g
[root@server1 ~]# ipvsadm -l   # 查看策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.10.100:http rr
  -> server2:http                 Route   1      0          0         
  -> server3:http                 Route   1      0          0   
# Forward:路由     Weight:权重   ActiveConn:    InActConn:访问次数

# 保存策略到文件中
[root@server1 ~]# /etc/init.d/ipvsadm save
ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:      [  OK  ]
[root@server1 ~]# /etc/init.d/ipvsadm  restart
ipvsadm: Clearing the current IPVS table:                  [  OK  ]
ipvsadm: Unloading modules:                                [  OK  ]
ipvsadm: Clearing the current IPVS table:                  [  OK  ]
ipvsadm: Applying IPVS configuration:                      [  OK  ]

后端服务器配置
server2

# 添加vip
[root@server2 ~]# ip addr add 172.25.10.100/32 dev eth0
[root@server2 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:0a:d5:22 brd ff:ff:ff:ff:ff:ff
    inet 172.25.10.2/24 brd 172.25.10.255 scope global eth0
    inet 172.25.10.100/32 scope global eth0
    inet6 fe80::5054:ff:fe0a:d522/64 scope link 
       valid_lft forever preferred_lft forever

# 安装http服务,并设置默认发布文件
[root@server2 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.2 for ServerName
                                                           [  OK  ]
[root@server2 ~]# cat /var/www/html/index.html 
<h1>www.westos.org-server2</h1>

server3

# 添加vip
[root@server3 ~]# ip addr add 172.25.10.100/32 dev eth0
[root@server3 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:2d:32:ee brd ff:ff:ff:ff:ff:ff
    inet 172.25.10.3/24 brd 172.25.10.255 scope global eth0
    inet 172.25.10.100/32 scope global eth0
    inet6 fe80::5054:ff:fe2d:32ee/64 scope link 
       valid_lft forever preferred_lft forever

# 安装http服务,并设置默认发布文件
[root@server3 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.3 for ServerName
                                                           [  OK  ]
[root@server3 ~]# cat /var/www/html/index.html 
<h1>bbs.westos.org</h1>

客户端测试
(MAC地址会变)

[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>

# 查询ip的MAC地址
[root@foundation10 ~]# arp -an | grep 100
? (172.25.10.100) at 52:54:00:88:1f:4e [ether] on br0

[root@foundation10 ~]# arp -an
? (172.25.10.3) at 52:54:00:2d:32:ee [ether] on br0
? (192.168.1.1) at e8:ab:f3:d7:6d:95 [ether] on wlp12s0
? (172.25.254.254) at <incomplete> on br0
? (172.25.10.100) at 52:54:00:88:1f:4e [ether] on br0
? (172.25.254.2) at <incomplete> on br0
? (172.25.10.1) at 52:54:00:88:1f:4e [ether] on br0
? (172.25.10.2) at 52:54:00:0a:d5:22 [ether] on br0
? (172.25.10.4) at 52:54:00:d9:d6:39 [ether] on br0
2.后端服务器添加arptables策略

调度服务器(VS)的配置:同1

后端服务器配置
server2
原有配置不变,添加arptables,只识别调度服务器的vip

# 安装arptables_jf.x86_64
[root@server2 ~]# yum install arptables_jf.x86_64 -y
# 添加策略
[root@server2 ~]# arptables -A IN -d 172.25.10.100 -j DROP
[root@server2 ~]# arptables -A OUT -s 172.25.10.100 -j mangle --mangle-ip-s 172.25.10.2
# 保存策略
[root@server2 ~]# /etc/init.d/arptables_jf save
Saving current rules to /etc/sysconfig/arptables:          [  OK  ]
# 查看策略
[root@server2 ~]# arptables -L
Chain IN (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
DROP       anywhere             172.25.10.100        anywhere           anywhere           any    any        any        any       

Chain OUT (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
mangle     172.25.10.100        anywhere             anywhere           anywhere           any    any        any        any       --mangle-ip-s server2 

Chain FORWARD (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       

server3
原有配置不变,添加arptables,只识别调度服务器的vip

# 安装arptables_jf.x86_64
[root@server3 ~]# yum install arptables_jf.x86_64 -y
# 添加策略
[root@server3 ~]# arptables -A IN -d 172.25.10.100 -j DROP
[root@server3 ~]# arptables -A OUT -s 172.25.10.100 -j mangle --mangle-ip-s 172.25.10.3
# 保存策略
[root@server3 ~]# /etc/init.d/arptables_jf save
Saving current rules to /etc/sysconfig/arptables:          [  OK  ]
# 查看策略
[root@server3 ~]# arptables -L
Chain IN (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
DROP       anywhere             172.25.10.100        anywhere           anywhere           any    any        any        any       

Chain OUT (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
mangle     172.25.10.100        anywhere             anywhere           anywhere           any    any        any        any       --mangle-ip-s server3 

Chain FORWARD (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       

客户端测试
(MAC地址不变)

[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>

3.调度服务器添加ldirectord,自动创建集群,并添加节点(只能作用于节点,而不能检测到服务是否出现问题)
目的:

调度服务器配置 (调度服务器之前配置不变)

# 安装 ldirectord
[root@server1 ~]# yum install ldirectord-3.9.5-3.1.x86_64.rpm -y

# 复制配置文件到/etc/ha.d/
[root@server1 ~]# cd /etc/ha.d/
[root@server1 ha.d]# ls
resource.d  shellfuncs
[root@server1 ha.d]# cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf .
[root@server1 ha.d]# ls
ldirectord.cf  resource.d  shellfuncs
# 修改配置文件
# Sample for an http virtual service
virtual=172.25.10.100:80
    real=172.25.10.2:80 gate
    real=172.25.10.3:80 gate
    fallback=172.25.10.1:80 gate
    service=http
    scheduler=rr
    #persistent=600
    #netmask=255.255.255.255
    protocol=tcp
    checktype=negotiate
    checkport=80
    request="index.html"
#   receive="Test Page"
#   virtualhost=www.x.y.z

# 清除ipvsadm策略
[root@server1 ha.d]# ipvsadm -C
[root@server1 ha.d]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

# 开启ldirectord服务,自动创建集群和节点
[root@server1 ha.d]# /etc/init.d/ldirectord start
Starting ldirectord... success
[root@server1 ha.d]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.6.240:http rr
  -> server2:http                 Route   1      0          0         
  -> server3:http                 Route   1      0          0         

# 开启http服务,编辑配置文件(修改监听端口为80)
[root@server1 ha.d]# vim /etc/httpd/conf/httpd.conf 
[root@server1 ha.d]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.1 for ServerName
                                                           [  OK  ]
[root@server1 ha.d]# netstat -antlp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 127.0.0.1:80                0.0.0.0:*                   LISTEN      1350/httpd          

# 查看节点ip
[root@server1 ha.d]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.10.100:80 rr
  -> 172.25.10.2:80               Route   1      0          0         

后端服务器配置 (之前配置不变)
server2

# 修改默认发布文件,方便实验
[root@server2 ~]# cat /var/www/html/index.html
<h1>server2</h1>
[root@server2 ~]# /etc/init.d/httpd restart
Stopping httpd:                                            [  OK  ]
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.2 for ServerName
                                                           [  OK  ]

server3

# 修改默认发布文件,方便实验
[root@server3 ~]# cat /var/www/html/index.html
<h1>server3</h1>
[root@server3 ~]#  /etc/init.d/httpd restart
Stopping httpd:                                            [  OK  ]
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.3 for ServerName
                                                           [  OK  ]

客户端测试

[root@foundation10 ~]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
当server2或server3其中一个http服务出现问题,或者在维护时,只显示另外一个,当两个都出现问题时,显示调度服务器本身默认发布文件
#后端服务器出现问题
[root@server2 ~]# /etc/init.d/httpd stop
Stopping httpd:                                            [  OK  ]
# 客户端访问
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# 
当ldirectord服务出现问题时,获取不到任何页面
[root@server2 ~]# /etc/init.d/httpd stop
Stopping httpd:                                            [  OK  ]
[root@server3 ~]#  /etc/init.d/httpd stop
Stopping httpd:                                            [  OK  ]

# 调度端
[root@server1 ha.d]# /etc/init.d/ldirectord stop
Stopping ldirectord... success
# 客户端
[root@foundation10 ~]# curl 172.25.10.100
curl: (7) Failed connect to 172.25.10.100:80; Connection refused

高可用(keepalived 双机热备应用)

两个调度器,两个后端服务器
调度器配置

server1

# 关闭ldirectord服务
[root@server1 ha.d]# chkconfig ldirectord off

# 添加虚拟ip
[root@server1 keepalived]# ip addr add 172.25.10.100/32 dev eth0^C
[root@server1 keepalived]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:88:1f:4e brd ff:ff:ff:ff:ff:ff
    inet 172.25.10.1/24 brd 172.25.10.255 scope global eth0
    inet 172.25.10.100/32 scope global eth0
    inet6 fe80::5054:ff:fe88:1f4e/64 scope link 
       valid_lft forever preferred_lft forever

# 安装ipvsadm,并定义机群和设置节点
[root@server4 init.d]# ipvsadm -A -t 172.25.10.100:80 -s rr
[root@server4 init.d]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.2:80 -g
[root@server4 init.d]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.3:80 -g
[root@server4 init.d]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.10.100:http rr
  -> server2:http                 Route   1      0          0         
  -> server3:http                 Route   1      0          0         

# 下载keepalived-1.4.3.tar.gz,并解压
[root@server1 ~]# tar zxf keepalived-1.4.3.tar.gz
[root@server1 ~]# ls
anaconda-ks.cfg     keepalived-1.4.3                 varnish-3.0.5-1.el6.x86_64.rpm
install.log         keepalived-1.4.3.tar.gz          varnish-libs-3.0.5-1.el6.x86_64.rpm
install.log.syslog  ldirectord-3.9.5-3.1.x86_64.rpm
[root@server1 ~]# cd keepalived-1.4.3
[root@server1 keepalived-1.4.3]# ls
aclocal.m4   ChangeLog     CONTRIBUTORS  genhash     keepalived.spec.in  missing
ar-lib       compile       COPYING       INSTALL     lib                 README.md
AUTHOR       configure     depcomp       install-sh  Makefile.am         snap
bin_install  configure.ac  doc           keepalived  Makefile.in         TODO
# 源码安装keepalived
# 第一步:源码编译
[root@server1 keepalived-1.4.3]# ./configure --prefix=/usr/local/keepalived --with-init=SYSV
# 出现报错(需要安装openssl-devel)
 !!! OpenSSL is not properly installed on your system. !!!
  !!! Can not include OpenSSL headers files.            !!!
# 安装openssl-devel之后,重新编译
Keepalived configuration
------------------------
Keepalived version       : 1.4.3
Compiler                 : gcc
Preprocessor flags       : 
Compiler flags           : -Wall -Wunused -Wstrict-prototypes -Wextra -g -O2 -D_GNU_SOURCE -fPIE
Linker flags             :  -pie
Extra Lib                :  -lcrypto  -lssl 
Use IPVS Framework       : Yes
IPVS use libnl           : No
IPVS syncd attributes    : No
IPVS 64 bit stats        : No
fwmark socket support    : Yes
Use VRRP Framework       : Yes
Use VRRP VMAC            : Yes
Use VRRP authentication  : Yes
With ip rules/routes     : Yes
SNMP vrrp support        : No
SNMP checker support     : No
SNMP RFCv2 support       : No
SNMP RFCv3 support       : No
DBUS support             : No
SHA1 support             : No
Use Debug flags          : No
smtp-alert debugging     : No
Use Json output          : No
Stacktrace support       : No
Memory alloc check       : No
libnl version            : None
Use IPv4 devconf         : No
Use libiptc              : No
Use libipset             : No
init type                : SYSV
Build genhash            : Yes
Build documentation      : No

*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.
## 编译成功

# 第二步:检测安装环境
[root@server1 keepalived-1.4.3]# make

# 第三步:安装
[root@server1 keepalived-1.4.3]# make install

# 为使软件能够运行,需要作软链接
[root@server6 init.d]# ln -s /usr/local/keepalived/etc/keepalived/ /etc/
[root@server6 keepalived]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[root@server6 keepalived]# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
[root@server6 keepalived]# ln -s /usr/local/keepalived/sbin/keepalived /sbin/

# 切换目录
[root@server1 local]# cd keepalived/etc/rc.d/init.d/
[root@server1 init.d]# ls
keepalived
[root@server1 init.d]# chmod +x keepalived 
[root@server1 init.d]# ls
keepalived
[root@server1 init.d]# ll keepalived 
-rwxr-xr-x 1 root root 1308 622 21:00 keepalived

# 安装mailx,程序动态以邮件方式显示,在/var/log/messages
yum install -y mailx

# 编辑配置文件 vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email { #指定keepalived在发生切换时需要发送email到的对象,一行一个
     root@localhost    
   }
   notification_email_from keepalived@localhost   #指定发件人
   smtp_server 127.0.0.1    #指定smtp服务器地址
   smtp_connect_timeout 30    #指定smtp连接超时时间
   router_id LVS_DEVEL   #运行keepalived机器的一个标识
   vrrp_skip_check_adv_addr                                   
#   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER   #指定那个为master,那个为backup,如果设置了nopreempt这个值不起作用,主备考priority决定
    interface eth0   #设置实例绑定的网卡 VRRP心跳包从哪块网卡发出
    virtual_router_id 51  #VPID标记 相同VRID的LVS属于同一组,根据优先级选举出一个主
    priority 100    # 优先级(1-254,数越大,优先级越高)
    advert_int 1    #检查间隔,默认1秒 VRRP心跳包的发送周期,单位为s 组播信息发送间隔,两个节点设置必须一样(实际并不一定完全是10秒,测试结果是小于10秒的随机值)
    authentication {
        auth_type PASS   #认证方式
        auth_pass 1111   #认证密码(密码只识别前8位)
    }
    virtual_ipaddress {  #设置vip
        172.25.10.100
    }
}

virtual_server 172.25.10.100 80 {
    delay_loop 3   #健康检查时间间隔
    lb_algo rr   #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh,此处为平衡轮询
    lb_kind DR    #负载均衡转发规则NAT|DR|RUN
#    persistence_timeout 50  #会话保持时间
    protocol TCP  #使用的协议

    real_server 172.25.10.2 80 {
        weight 1   #权重默认为1,0为失效
        TCP_CHECK {
            connect_timeout 3    #连接超时时间
            retry 3    #重连次数
            delay_before_retry 3  #重连间隔时间
        }
    }
    real_server 172.25.10.3 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }
}
## 配置完后需要重新加载:/etc/init.d/keepalived reload   
## 尽量不要重启服务
  nopreempt #设置为不抢占 注:这个配置只能设置在backup主机上,而且这个主机优先级要比另外一台高

首先nopreemt必须在state为BACKUP的节点上才生效(因为是BACKUP节点决定是否来成为MASTER的),
其次要实现类似于关闭auto failback的功能需要将所有节点的state都设置为BACKUP,或者将master节点的priority设置的比BACKUP低。
我个人推荐使用将所有节点的state都设置成BACKUP并且都加上nopreempt选项,这样就完成了关于autofailback功能,
当想手动将某节点切换为MASTER时只需去掉该节点的nopreempt选项并且将priority改的比其他节点大,然后重新加载配置文件即可(等MASTER切过来之后再将配置文件改回去再reload一下)。

server4
server4配置和server1相同,作为热备使用,在server1出现问题是,自动顶替server1工作
注意:源码便已安装的keepalived(包括配置文件),可通过scp发送到server4

[root@server1 ~]# scp -r /usr/local/keepalived/ server4:/usr/local/
[root@server1 ~]# scp /etc/keepalived/keepalived.conf server4:/etc/keepalived/

需要修改如下:

# 修改配置文件 state BACKUP
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51   ## 必须和server1相同
    priority 50  # 必须低于server1
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.10.100
    }
}

后端服务器设置

server2和server3配置相同

# 设置虚拟ip
[root@server2 ~]# ip addr add 172.25.10.100/32 dev eth0
[root@server2 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:0a:d5:22 brd ff:ff:ff:ff:ff:ff
    inet 172.25.10.2/24 brd 172.25.10.255 scope global eth0
    inet6 fe80::5054:ff:fe0a:d522/64 scope link 
       valid_lft forever preferred_lft forever

# 安装http服务,并设置默认发布文件

[root@server2 ~]# cat /var/www/html/index.html 
<h1>server2</h1>
[root@server2 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.2 for ServerName
                                                           [  OK  ]

# 安装arptables_jf.x86_64
[root@server2 ~]# yum install arptables_jf.x86_64 -y
# 添加策略
[root@server2 ~]# arptables -A IN -d 172.25.10.100 -j DROP
[root@server2 ~]# arptables -A OUT -s 172.25.10.100 -j mangle --mangle-ip-s 172.25.10.2
# 保存策略
[root@server2 ~]# /etc/init.d/arptables_jf save
Saving current rules to /etc/sysconfig/arptables:          [  OK  ]
# 查看策略
[root@server2 ~]# arptables -L
Chain IN (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
DROP       anywhere             172.25.10.100        anywhere           anywhere           any    any        any        any       

Chain OUT (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
mangle     172.25.10.100        anywhere             anywhere           anywhere           any    any        any        any       --mangle-ip-s server2 

Chain FORWARD (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro   

客户端测试

# server1 和 server4 正常 (server4作为热备)
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# arp -an | grep 100
? (172.25.10.100) at 52:54:00:88:1f:4e [ether] on br0 #server1的MAC

# server1 出现问题 ,server4自动顶替
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# arp -an | grep 100
? (172.25.10.100) at 52:54:00:d9:d6:39 [ether] on br0 #server4的MAC

# 日志记录:
# server1:keepalived出现问题停止
[root@server1 keepalived]# cat /var/log/messages 
Jun 22 23:14:04 server1 Keepalived[6746]: Stopping
Jun 22 23:14:04 server1 kernel: IPVS: __ip_vs_del_service: enter
Jun 22 23:14:04 server1 Keepalived_vrrp[6749]: VRRP_Instance(VI_1) sent 0 priority
Jun 22 23:14:04 server1 Keepalived_vrrp[6749]: VRRP_Instance(VI_1) removing protocol VIPs.
Jun 22 23:14:04 server1 Keepalived_healthcheckers[6748]: Removing service [172.25.10.2]:tcp:80 from VS [172.25.10.100]:tcp:80
Jun 22 23:14:04 server1 Keepalived_healthcheckers[6748]: Removing service [172.25.10.3]:tcp:80 from VS [172.25.10.100]:tcp:80
Jun 22 23:14:04 server1 Keepalived_healthcheckers[6748]: Stopped
Jun 22 23:14:05 server1 Keepalived_vrrp[6749]: Stopped
Jun 22 23:14:05 server1 Keepalived[6746]: Stopped Keepalived v1.4.3 (04/09,2018)

# server4:
Jun 22 23:14:04 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Entering MASTER STATE
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) setting protocol VIPs.
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100

# 后端服务器其中一个出现问题(如:server2)
[root@foundation10 Desktop]# curl 172.25.10.100
curl: (7) Failed connect to 172.25.10.100:80; Connection refused
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
LVS-NAT工作模式
一、后端服务器设置

Server6和server7(设置同网段不同的ip),以server7为例:
1.网络设置(ip和网关)
这里写图片描述
这里写图片描述
2.开启http服务
这里写图片描述

二、VS服务端(调度端)

1.开启路由
在配置文件/etc/sysctl.conf中修改
这里写图片描述
sysctl -p 即时生效
sysctl -a | grep ip_forward 查询状态
这里写图片描述
2.定义集群,并设置节点
这里写图片描述
这里写图片描述

三、客户端测试

这里写图片描述

LVS-TUN 隧道工作模式

至少三台服务器(一台调度服务器,两台后端服务器)

一、后端服务器设置

后端服务器Server6
1.配置网络,设置rip
这里写图片描述
重启网络

2.隧道上添加vip,并激活tunl0
这里写图片描述
3.添加静态路由
这里写图片描述
4.关闭过滤
这里写图片描述
这里写图片描述
5.开启路由
这里写图片描述
这里写图片描述
6.安装arptables_jf,开启arptables 策略
这里写图片描述
7.开启http服务
这里写图片描述
后端服务器Server7(除r-ip外,同Server6)

二、调度服务器设置

1.设置网络
这里写图片描述
2.导入模块ipip
这里写图片描述
3.隧道上添加vip,并激活tunl0
这里写图片描述
这里写图片描述
4.添加静态路由
这里写图片描述
5.开启路由
这里写图片描述
这里写图片描述
6.安装ipvsadm(修改yum源(redhat6需要,redhat7不需要)
这里写图片描述
7.定义集群,添加节点
这里写图片描述

三、客户端测试

这里写图片描述

fullnat工作模式(需要编译内核)
1.虚拟机配置要求:

ip:172.25.10.5
Memory(RAM):至少2048MiB
并关闭物理机上所有的虚拟机

2.下载内核安装包和fullnat安装包(www.pkgs.org),并在(http://kb.linuxvirtualserver.org/wiki/IPVS_FULLNAT_and_SYNPROXY查看编译步骤)

这里写图片描述

3. 安装rpm-bulid (安装以.src结尾的文件时需要)

yum install rpm-bulid -y

4.强制安装内核

这里写图片描述

安装完成后出现一个目录:
这里写图片描述

5.检测编译环境

发现有许多错误,原因是依赖性未解决:
这里写图片描述
不能从镜像中安装的所需要的依赖包,可以在网上(pkgs.org)下载

# 以下两个镜像中没有
asciidoc-8.4.5-4.1.el6.noarch.rpm 
newt-devel-0.52.11-3.el6.x86_64.rpm
slang-devel-2.2.1-1.el6.x86_64.rpm (安装以上两个软件时,需要安装此软件,解决其依赖性)

这里写图片描述
这里写图片描述
重新编译:切换到~/rpmbuild/SPECS/
这里写图片描述
在检测编译环境时,执行 rngd -r /dev/urandom(需要安装 rng-tools)命令,快速生成key
重新开一个shell连接server5,寻找命令rngd 所在的包,找到后下载,并安装:
这里写图片描述
这里写图片描述

6.编译完成后,切回根目录,解压fullnat安装包

这里写图片描述

7.拷贝补丁到内核安装目录中,并打上补丁(不能重复打补丁)

这里写图片描述

打补丁:
[root@server5 linux-2.6.32-220.23.1.el6.x86_64]# patch -p1 < lvs-2.6.32-220.23.1.el6.patch

查看隐藏文件,生成.config.old的文件,说明补丁完成:
这里写图片描述

8.编辑编译后生成的文件

在EXTRAVERSION= (后面添加内容)
这里写图片描述
这里写图片描述

9.检测安装环境make

这里写图片描述
编译完成
编译完成

10.安装模块:make modules_install

这里写图片描述

11.写入:make install

这里写图片描述

12.编辑启动项文件,default = 0 首先启动

这里写图片描述
这里写图片描述

13.重启后,查看内核版本
14.编译完成后更新ipvsadm和keepalived

查看内核为自己所编译的,然后切入lvs目录当中解压tools压缩包
这里写图片描述
切换到tools目录下,进入keepalived目录中
这里写图片描述
切入目录后进行源码编译,编译的时候附带自己的内核目录
这里写图片描述
内核目录地址:
这里写图片描述
编译报错发现少包,yum进行下载
这里写图片描述
下载后继续进行源码编译,少包,继续安装:
这里写图片描述
下载完成后继续源码编译,编译成功后,继续make—–>make install。

然后切换到ipvsadm目录中,查看有Makefile,可以直接make编译和安装。
这里写图片描述
然后 make——>make install
编译内核及更新ipvsadm成功。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值