linux运维—LVS（DR模式）

DR模式原理以及工作流程

• 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
• (b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
• IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
• 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
• RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP
• 响应报文最终送达至客户端

LVS-DR模型的特性

特点1：保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

• RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问
• RS跟Director Server必须在同一个物理网络中
• 所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
• 不支持地址转换，也不支持端口映射
• RS可以是大多数常见的操作系统
• RS的网关绝不允许指向DIP(因为我们不允许他经过director)
• RS上的lo接口配置VIP的IP地址
• 缺陷：RS和DS必须在同一机房中

特点1的解决方案：

• 在前端路由器做静态地址路由绑定，将对于VIP的地址仅路由到Director Server。
  存在问题：用户未必有路由操作权限，因为有可能是运营商提供的，所以这个方法未必实用
• arptables：在arp的层次上实现在ARP解析时做防火墙规则，过滤RS响应ARP请求。这是由iptables提供的
• 修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

以下实验在rhel7.3主机上进行，真实主机使用arptable策略解决将用户所有针对VIP的请求发送到DS 而不是RS
CIP:172.25.47.250
VIP:172.25.47.100
DIP:172.25.47.110
RIP1:172.25.47.120
RIP2:172.25.47.130

LVS（DR模式）搭建

调度器DS设置

1 安装lvs管理工具，设置负载均衡调度策略

#安装lvs管理工具
[root@toto1 ~]# yum install ipvsadm -y
# 使用管理工具添加策略
[root@toto1 ~]# ipvsadm -A -t 172.25.47.100:80 -s rr  # 添加VIP
[root@toto1 ~]# ipvsadm -a -t 172.25.47.100:80 -r 172.25.47.120:80 -g
[root@toto1 ~]# ipvsadm -a -t 172.25.47.100:80 -r 172.25.47.130:80 -g   # 添加两个RIP
# 查看设置好的策略
[root@toto1 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.47.100:http rr
  -> 172.25.47.120:http           Route   1      0          0         
  -> 172.25.47.130:http           Route   1      0          0         

2 添加VIP到eth0网卡
ip addr add 172.25.47.100/24 dev eth0 # 临时添加ip到eth0网卡

[root@toto1 ~]# ip addr add 172.25.47.100/24 dev eth0   # 添加vip
[root@toto1 ~]# ip addr show eth0     # 查看网卡信息
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:9e:0d:c8 brd ff:ff:ff:ff:ff:ff
    inet 172.25.47.110/24 brd 172.25.47.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet 172.25.47.100/24 scope global secondary eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::5054:ff:fe9e:dc8/64 scope link 
       valid_lft forever preferred_lft forever

RS配置（所有的服务器设置一致）

1 安装httpd 启动设置访问页面
注意：该处为了验证负载均衡的效果，后端真实服务器设置不同的访问内容，明显标示内容来自不同的后端服务器。

2 添加VIP到各自的物理网卡中
ip addr add 172.25.47.100/24 dev eth0 # 临时添加ip到eth0网卡

3 设置arptable策略，解决将用户所有针对VIP的请求发送到DS 而不是RS

yum install arptables -y # 安装管理工具

arptables -A INPUT -d 172.25.47.100 -j DROP # 设置不回应对自己VIP的请求

arptables -A OUTPUT -s 172.25.47.100 -j mangle --mangle-ip-s 172.25.47.120
#设置将发送出去的数据包的源ip修改成VIP

所有的真实服务器根据自己的实际ip情况进行设置。

客户端测试：

[root@foundation47 yum]# curl 172.25.47.100
toto2
[root@foundation47 yum]# curl 172.25.47.100
toto3
[root@foundation47 yum]# curl 172.25.47.100
toto2
[root@foundation47 yum]# curl 172.25.47.100
toto3
[root@foundation47 yum]# curl 172.25.47.100
toto2
[root@foundation47 yum]# curl 172.25.47.100
toto3
[root@foundation47 yum]# curl 172.25.47.100
toto2


#调度器负载分配情况
[root@toto1 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  toto1:http rr
  -> 172.25.47.120:http           Route   1      0          4         
  -> 172.25.47.130:http           Route   1      0          3