半虚拟化的xen下不可能成功配置lvs的DR模式

本文分享了在半虚拟化环境中使用LVS+Keepalived实现负载均衡的实践经验。介绍了VS/DR模式下配置的真实服务器(RS)和负载均衡器(Director)要点,并探讨了解决半虚拟化环境下MAC地址获取不正确的挑战。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

起这个名字的时候心里还是有些小纠结的。最近两周尽在研究lvs+keepalived实现负载均衡更可用的。无奈环境所限,不能找到实际的四台机器,只能在自己的小破本上,琢磨着虚拟出2+2的高可用环境。又因为小本只有2G内存,感觉不能在VirtualBox下完全虚拟化4台linux,又趁着前一阵子玩xen,于是在一个机器下装了xen。情况还不错,在半虚拟化的xen中跑个机器感觉100M内存就足够了,于是我在半虚拟化中配lvs及keepalived的悲剧之旅就开始了。

如果你也正准备跟我一样[b]在半虚拟化环境下实验负载平衡高可用[/b],请注意!

先说说lvs+keepalived的2+2架构
推荐几篇文章导读
[url=http://zh.linuxvirtualserver.org/node/272]lvs中文站[/url]
[url=http://www.keepalived.org/pdf/sery-lvs-cluster.pdf]keepalived的一篇官方中文手册[/url]

简要的说这几篇文章,主要讲了这个意思。
VS/DR模式和VS/TUN模式比较适合构建大规模的集群,这种集群中的每台机器都不用走总路由,可以直接将相应报文发还给客户。

之前我也搭建过VS/NAT模式,所以这次便试试VS/DR。VS/DR包括负载均衡器(Director)和真实服务器(Real Server RS)
假设虚拟IP是VIP=10.1.1.1
配置RS的要点是:
[list]
[*]给RS配置一个lo:0地址,该地址就是VIP,广播地址也是VIP(不清楚为什么),使得RS可以勉强接受目的地址是VIP的报文。
[*]同时一定要关闭RS的arp功能,这样就不会使ARP相应VIP时发生错乱。
[/list]

配置Director的要点是:
[list]
[*]不需要给Director配置eth0:0的VIP地址,有keepalived在的话,直接在/etc/keepalived/keepavlied.conf文件中指定VIP地址,然后keepalived -D启动后,可以通过ip add命令查看多出来的VIP地址(在ifconfig下是看不到的)
[*]如果配置成功,则应该可以ping通VIP地址
[/list]

那么为什么客户端访问这样一个所有机器都拥有的VIP仍然可以获得相应而不会错乱呢?
这是因为客户端在发出对VIP的请求时,RS会保持沉默,因为我们之前已经关闭了RS的arp相应。而Director在截获请求后,会在lvs中也就是ipvsadm中查找这个VIP对应的RS地址,把报文中的MAC替换成被重定位的RS的MAC地址。
关键就在这个地方。因为这是发生在数据链路层的事,所以只要MAC地址对了,就一定能发到对应的RS服务器上。反之。如果MAC地址不对,就不能成功。

[b]半虚拟化下不能获得正确MAC![/b]
如果你能ping通VIP,但是却无法正常运行RS上的服务。请先下载软件arping
apt-get install arping

我们使用命令arp -a查看下
root@xen-test0:~# arp -a
? (10.1.1.13) at fe:ff:ff:ff:ff:ff [ether] on eth0
? (10.1.1.14) at fe:ff:ff:ff:ff:ff [ether] on eth0
? (10.1.1.138) at fe:ff:ff:ff:ff:ff [ether] on eth0
? (10.1.1.254) at fe:ff:ff:ff:ff:ff [ether] on eth0


结果很奇怪,另一个虚拟机10.1.1.13的mac地址居然是fe:ff:ff:ff:ff:ff?这说明在xen的半虚拟化下,当使用查询一个虚拟机,比如10.1.1.13的mac地址之时,DomU先是连接到Dom0,Dom0返回的是vifx.0的mac地址,如上所示。

如果关闭Dom0的arp应答功能如何?
我尝试
echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2">/proc/sys/net/ipv4/conf/all/arp_announce

然后再进行进行arp请求
arping 10.1.1.13

可惜Dom0仍然会进行arp应答,所以这就造成在解析VIP时,mac地址出错,从而无法成功搭建keepalived


最后附上keepalived.conf的配置文以及realserver停止arp的脚本。均从文首链接中摘录而来。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值