LVS-DR
LVS-DR数据包流向分析
为方便进行原理分析,将Client与群集机器放在同一网络中,数据包流经的路线为1-2-3-4
操作流程
-
Client向目标VIP发出请求,Director(负载均衡器)接收
IP地址为虚拟地址192.168.1.100 -
Director根据负载均衡算法选择RealServer_1(Web节点),不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送
-
RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定VIP),于是处理这个报文。随后重新封装报文,发送局域网
-
Client将收到回复报文。Client认为得到正常的服务,而不会知道是哪一台服务器处理的
注意:如果跨网段,则报文通过路由器经由Internet返回给用户
LVS-DR中的ARP问题
- 在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱
- 当ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上,它们都会接收到ARP广播
- 只有前端的负载均衡器进行响应,其它节点服务器不应该响应ARP广播
- 对节点服务器进行处理,使其不响应针对VIP的ARP请求
- 使用虚拟接口lo:0承载VIP虚拟地址
- 设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求
- RealServer返回报文(源IP是VIP)经路由器转发,重新封装报文时,需要先获取路由器的MAC地址
- 发送ARP请求时,Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口的IP地址
解决ARP的两个问题的设置方法
- 修改/etc/sysctl.conf文件
net.ipv4.conf.lo.arp_ignore = 1 #只有发给lo网卡环回口ip请求才响应
net.ipv4.conf.lo.arp_announce = 2 #回包时使用lo网卡本身真实ip地址
net.ipv4.conf.all.arp_ignore = 1 # 所有网卡设置为arp_ignore=1
net.ipv4.conf.all.arp_announce = 2 # 所有网卡设置为arp_announce=2
LVS-DR群集部署
在nfs服务器上
查看软件安装包
[root@nfs ~]# rpm -qa | grep nfs
[root@nfs ~]# rpm -qa | grep rpcbind
创建两个网页web1 web2
编辑配置文件
[root@nfs ~]# vi /etc/exports
/web1 192.168.1.50/32 (ro)
/web2 192.168.1.15/32 (ro)
服务启动
web1上配置
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# mount 192.168.1.16:/web1 /var/www/html
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# curl http://localhost
编辑脚本,配置虚拟接口
[root@web1 ~]# vi web1.sh
[root@web1 ~]# chmod +x web1.sh
[root@web1 ~]# ./web1.sh
[root@web1 ~]# ifconfig 查看虚拟接口
[root@web1 ~]# route -n 查看增加的路由
生成虚拟接口,地址与ens33在同一网段
#!/bin/bash
# lvs web1
ifconfig lo:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up
route add -host 192.168.1.100 dev lo:0 #针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null #配置生效并在屏幕中不显示输出
在web2上
[root@web2 ~]# yum -y install httpd
[root@web1 ~]# mount 192.168.1.16:/web2 /var/www/html
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# curl http://localhost
编辑脚本,配置虚拟接口
[root@web1 ~]# vi web1.sh
[root@web1 ~]# chmod +x web1.sh
[root@web1 ~]# ./web1.sh
[root@web1 ~]# ifconfig 查看虚拟接口
[root@web1 ~]# route -n 查看增加的路由
生成虚拟接口,地址与ens33在同一网段
#!/bin/bash
# lvs web2
ifconfig lo:0 192.168.1.100 broadcast 192.168.1.200 netmask 255.255.255.255 up
route add -host 192.168.1.100 dev lo:0 # 针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null #配置生效并在屏幕中不显示输出
在lvs调度器上
[root@lvs ~]# modprobe ip_vs #手动加载,对ip_vs的探测加载
[root@lvs ~]# cat /proc/net/ip_vs #查看基本信息
[root@lvs ~]# yum -y install ipvsadm #安装软件
配置脚本
[root@lvs ~]# vi lvs.sh
[root@lvs ~]# sh lvs.sh #运行脚本
#!/bin/bash
# lvs
ifconfig ens33:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up
#添加虚拟地址的虚接口
route add -host 192.168.1.100 dev ens33:0 #添加路由
ipvsadm -C 清除内核虚拟服务器表中的所有记录
ipvsadm -A -t 192.168.1.100:80 -s rr #创建虚拟服务器
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1。50:80 -g #(-g:DR模式)地址捆绑虚拟地址
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.15:80 -g
ipvsadm -Ln #查看节点状态,加个“-n”将以数字形式显示地址,端口信息
访问测试
查看调度情况