一、LVS概述
LVS是Linux内核的一部分,因此性能较高
Linux虚拟服务器(即分发器或调度器): 不真正提供服务,但接受客户的访问,为整个集群提供一个唯一的入口
虚拟服务器和真实服务器(Real Server)通信
真实服务器(Real Server): 真正提供服务,集群中每个Real Server可以是物理机,也可以是虚拟机
VS/NAT: 网络地址转换模式, 进站/出站的数据流量经过分发器
VS/DR: 直接路由模式,只有进站的数据流量经过分发器
调度器和真实服务器必须在同一网段
VS/TUN: 隧道模式,只有进站的数据流量经过分发器
LVS调度算法
调度算法用于决定LVS如何选择后端的RealServer
轮叫调度(Round Robin)(简称rr)
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。加权轮叫(Weighted Round Robin)(简称wrr)
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。最少链接(Least Connections)(LC)
调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用 “最小连接” 调度算法可以较好地均衡负载。
4.加权最少链接(Weighted Least Connections)(WLC)
在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算 法 优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负
载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
基于局部性的最少链接(Locality-Based Least Connections)(LBLC)
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的
服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接”
的原则选出一个可用的服务器,将请求发送到该服务器。带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)(LBLCR)
“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标
IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按
“最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台
服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复
制的程度。目标地址散列(Destination Hashing)(DH)
“目标地址散列”调度算法根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。源地址散列(Source Hashing)(SH)
“源地址散列”调度算法根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。最短的期望的延迟(Shortest Expected Delay Scheduling SED)(SED)
基于wlc算法。这个必须举例来说了
ABC三台机器分别权重123 ,连接数也分别是123。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用sed算法后会进行这样一个运算
A(1+1)/1
B(1+2)/2
C(1+3)/3
根据运算结果,把连接交给C。
10.最少队列调度(Never Queue Scheduling NQ)(NQ)
无需队列。如果有台 realserver的连接数=0就直接分配过去,不需要在进行sed运算
二、四种工作模式的原理及优缺点
1.NAT模式(VS-NAT)
原理:
就是把客户端发来的数据包的IP头的目的地址,在负载均衡器上换成其中一台RS的IP地址,并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的原IP地址改为自己的IP,将目的地址改为客户端IP地址即可?期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器
优点:集群中的物理服务器可以使用任何支持TCP/IP操作系统,只有负载均衡器需要一个合法的IP地址。
缺点:扩展性有限。当服务器节点(普通PC服务器)增长过多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时,大量的数据包都交汇在负载均衡器那,速度就会变慢!
2.IP隧道模式(VS-TUN)
原理:
首先要知道,互联网上的大多Internet服务的请求包很短小,而应答包通常很大。那么隧道模式就是,把客户端发来的数据包,封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器?注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议?所以,在RS的内核中,必须编译支持IPTUNNEL这个选项
优点:负载均衡器只负责将请求包分发给后端节点服务器,而RS将应答包直接发给用户。所以,减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理很巨大的请求量,这种方式,一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
缺点:隧道模式的RS节点需要合法IP,这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议,服务器可能只局限在部分Linux系统上。
3.直接路由模式(VS-DR)
原理:
负载均衡器和RS都使用同一个IP对外服务?但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默?也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC(因为IP一致)并将请求分发给这台RS?这时RS收到这个数据包,处理完成之后,由于IP一致,可以直接将数据返给客户,则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端?由于负载均衡器要对二层包头进行改换,所以负载均衡器和RS之间必须在一个广播域,也可以简单的理解为在同一台交换机上
优点:和TUN(隧道模式)一样,负载均衡器也只是分发请求,应答包通过单独的路由方法返回给客户端。与VS-TUN相比,VS-DR这种实现方式不需要隧道结构,因此可以使用大多数操作系统做为物理服务器。
缺点:(不能说缺点,只能说是不足)要求负载均衡器的网卡必须与物理网卡在一个物理段上。
4.FULLNAT模式
FULLNAT模式可以解决lvs和rs跨vlan的问题,从此lvs和rs不再存在vlan上的从属关系,可以作到多个lvs对应多个rs,解决水平扩容的问题。
FULLNAT在NAT模式上做了如下改进:
在DNAT时,源地址从客户端的ip被替换成了lvs内网ip。而内网ip之间,可以通过多个交换机跨vlan通信。当rs返回经过处理的数据包时,会将这个数据包返回到lvs的内网ip上,此时lvs进行源地址转换(SNAT),把数据包的目的地址从lvs内网ip替换为客户端ip。
三、四种模式操作
VS/DR工作模式
1.后端服务器无arptables策略
调度服务器(VS)的配置
# 配置yum源
[rhel-source]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
[HighAvailability]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/HighAvailability
gpgcheck=0
[LoadBalancer]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/LoadBalancer
gpgcheck=0
[ResilientStorage]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/ResilientStorage
gpgcheck=0
[ScalableFileSystem]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.10.250/rhel6.5/ScalableFileSystem
gpgcheck=0
# 安装ipvsadm
[root@server1 ~]# yum install ipvsadm -y
# 添加虚拟ip(vip)
[root@server1 ~]# ip addr add 172.25.10.100/24 dev eth0
[root@server1 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:88:1f:4e brd ff:ff:ff:ff:ff:ff
inet 172.25.10.1/24 brd 172.25.10.255 scope global eth0
inet 172.25.10.100/24 scope global secondary eth0
inet6 fe80::5054:ff:fe88:1f4e/64 scope link
valid_lft forever preferred_lft forever
# 定义集群,并设置节点
[root@server1 ~]# ipvsadm -A -t 172.25.10.100:80 -s rr
# 查看策略
[root@server1 ~]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.10.100:http rr
# 添加节点
[root@server1 ~]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.2:80 -g
[root@server1 ~]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.3:80 -g
[root@server1 ~]# ipvsadm -l # 查看策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.10.100:http rr
-> server2:http Route 1 0 0
-> server3:http Route 1 0 0
# Forward:路由 Weight:权重 ActiveConn: InActConn:访问次数
# 保存策略到文件中
[root@server1 ~]# /etc/init.d/ipvsadm save
ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm: [ OK ]
[root@server1 ~]# /etc/init.d/ipvsadm restart
ipvsadm: Clearing the current IPVS table: [ OK ]
ipvsadm: Unloading modules: [ OK ]
ipvsadm: Clearing the current IPVS table: [ OK ]
ipvsadm: Applying IPVS configuration: [ OK ]
后端服务器配置
server2
# 添加vip
[root@server2 ~]# ip addr add 172.25.10.100/32 dev eth0
[root@server2 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:0a:d5:22 brd ff:ff:ff:ff:ff:ff
inet 172.25.10.2/24 brd 172.25.10.255 scope global eth0
inet 172.25.10.100/32 scope global eth0
inet6 fe80::5054:ff:fe0a:d522/64 scope link
valid_lft forever preferred_lft forever
# 安装http服务,并设置默认发布文件
[root@server2 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.2 for ServerName
[ OK ]
[root@server2 ~]# cat /var/www/html/index.html
<h1>www.westos.org-server2</h1>
server3
# 添加vip
[root@server3 ~]# ip addr add 172.25.10.100/32 dev eth0
[root@server3 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:2d:32:ee brd ff:ff:ff:ff:ff:ff
inet 172.25.10.3/24 brd 172.25.10.255 scope global eth0
inet 172.25.10.100/32 scope global eth0
inet6 fe80::5054:ff:fe2d:32ee/64 scope link
valid_lft forever preferred_lft forever
# 安装http服务,并设置默认发布文件
[root@server3 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.3 for ServerName
[ OK ]
[root@server3 ~]# cat /var/www/html/index.html
<h1>bbs.westos.org</h1>
客户端测试
(MAC地址会变)
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
# 查询ip的MAC地址
[root@foundation10 ~]# arp -an | grep 100
? (172.25.10.100) at 52:54:00:88:1f:4e [ether] on br0
[root@foundation10 ~]# arp -an
? (172.25.10.3) at 52:54:00:2d:32:ee [ether] on br0
? (192.168.1.1) at e8:ab:f3:d7:6d:95 [ether] on wlp12s0
? (172.25.254.254) at <incomplete> on br0
? (172.25.10.100) at 52:54:00:88:1f:4e [ether] on br0
? (172.25.254.2) at <incomplete> on br0
? (172.25.10.1) at 52:54:00:88:1f:4e [ether] on br0
? (172.25.10.2) at 52:54:00:0a:d5:22 [ether] on br0
? (172.25.10.4) at 52:54:00:d9:d6:39 [ether] on br0
2.后端服务器添加arptables策略
调度服务器(VS)的配置:同1
后端服务器配置
server2
原有配置不变,添加arptables,只识别调度服务器的vip
# 安装arptables_jf.x86_64
[root@server2 ~]# yum install arptables_jf.x86_64 -y
# 添加策略
[root@server2 ~]# arptables -A IN -d 172.25.10.100 -j DROP
[root@server2 ~]# arptables -A OUT -s 172.25.10.100 -j mangle --mangle-ip-s 172.25.10.2
# 保存策略
[root@server2 ~]# /etc/init.d/arptables_jf save
Saving current rules to /etc/sysconfig/arptables: [ OK ]
# 查看策略
[root@server2 ~]# arptables -L
Chain IN (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
DROP anywhere 172.25.10.100 anywhere anywhere any any any any
Chain OUT (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
mangle 172.25.10.100 anywhere anywhere anywhere any any any any --mangle-ip-s server2
Chain FORWARD (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
server3
原有配置不变,添加arptables,只识别调度服务器的vip
# 安装arptables_jf.x86_64
[root@server3 ~]# yum install arptables_jf.x86_64 -y
# 添加策略
[root@server3 ~]# arptables -A IN -d 172.25.10.100 -j DROP
[root@server3 ~]# arptables -A OUT -s 172.25.10.100 -j mangle --mangle-ip-s 172.25.10.3
# 保存策略
[root@server3 ~]# /etc/init.d/arptables_jf save
Saving current rules to /etc/sysconfig/arptables: [ OK ]
# 查看策略
[root@server3 ~]# arptables -L
Chain IN (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
DROP anywhere 172.25.10.100 anywhere anywhere any any any any
Chain OUT (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
mangle 172.25.10.100 anywhere anywhere anywhere any any any any --mangle-ip-s server3
Chain FORWARD (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
客户端测试
(MAC地址不变)
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>bbs.westos.org</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>www.westos.org-server2</h1>
3.调度服务器添加ldirectord,自动创建集群,并添加节点(只能作用于节点,而不能检测到服务是否出现问题)
目的:
调度服务器配置 (调度服务器之前配置不变)
# 安装 ldirectord
[root@server1 ~]# yum install ldirectord-3.9.5-3.1.x86_64.rpm -y
# 复制配置文件到/etc/ha.d/
[root@server1 ~]# cd /etc/ha.d/
[root@server1 ha.d]# ls
resource.d shellfuncs
[root@server1 ha.d]# cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf .
[root@server1 ha.d]# ls
ldirectord.cf resource.d shellfuncs
# 修改配置文件
# Sample for an http virtual service
virtual=172.25.10.100:80
real=172.25.10.2:80 gate
real=172.25.10.3:80 gate
fallback=172.25.10.1:80 gate
service=http
scheduler=rr
#persistent=600
#netmask=255.255.255.255
protocol=tcp
checktype=negotiate
checkport=80
request="index.html"
# receive="Test Page"
# virtualhost=www.x.y.z
# 清除ipvsadm策略
[root@server1 ha.d]# ipvsadm -C
[root@server1 ha.d]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
# 开启ldirectord服务,自动创建集群和节点
[root@server1 ha.d]# /etc/init.d/ldirectord start
Starting ldirectord... success
[root@server1 ha.d]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.6.240:http rr
-> server2:http Route 1 0 0
-> server3:http Route 1 0 0
# 开启http服务,编辑配置文件(修改监听端口为80)
[root@server1 ha.d]# vim /etc/httpd/conf/httpd.conf
[root@server1 ha.d]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.1 for ServerName
[ OK ]
[root@server1 ha.d]# netstat -antlp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 127.0.0.1:80 0.0.0.0:* LISTEN 1350/httpd
# 查看节点ip
[root@server1 ha.d]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.10.100:80 rr
-> 172.25.10.2:80 Route 1 0 0
后端服务器配置 (之前配置不变)
server2
# 修改默认发布文件,方便实验
[root@server2 ~]# cat /var/www/html/index.html
<h1>server2</h1>
[root@server2 ~]# /etc/init.d/httpd restart
Stopping httpd: [ OK ]
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.2 for ServerName
[ OK ]
server3
# 修改默认发布文件,方便实验
[root@server3 ~]# cat /var/www/html/index.html
<h1>server3</h1>
[root@server3 ~]# /etc/init.d/httpd restart
Stopping httpd: [ OK ]
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.3 for ServerName
[ OK ]
客户端测试
[root@foundation10 ~]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
当server2或server3其中一个http服务出现问题,或者在维护时,只显示另外一个,当两个都出现问题时,显示调度服务器本身默认发布文件
#后端服务器出现问题
[root@server2 ~]# /etc/init.d/httpd stop
Stopping httpd: [ OK ]
# 客户端访问
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 ~]#
当ldirectord服务出现问题时,获取不到任何页面
[root@server2 ~]# /etc/init.d/httpd stop
Stopping httpd: [ OK ]
[root@server3 ~]# /etc/init.d/httpd stop
Stopping httpd: [ OK ]
# 调度端
[root@server1 ha.d]# /etc/init.d/ldirectord stop
Stopping ldirectord... success
# 客户端
[root@foundation10 ~]# curl 172.25.10.100
curl: (7) Failed connect to 172.25.10.100:80; Connection refused
高可用(keepalived 双机热备应用)
两个调度器,两个后端服务器
调度器配置
server1
# 关闭ldirectord服务
[root@server1 ha.d]# chkconfig ldirectord off
# 添加虚拟ip
[root@server1 keepalived]# ip addr add 172.25.10.100/32 dev eth0^C
[root@server1 keepalived]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:88:1f:4e brd ff:ff:ff:ff:ff:ff
inet 172.25.10.1/24 brd 172.25.10.255 scope global eth0
inet 172.25.10.100/32 scope global eth0
inet6 fe80::5054:ff:fe88:1f4e/64 scope link
valid_lft forever preferred_lft forever
# 安装ipvsadm,并定义机群和设置节点
[root@server4 init.d]# ipvsadm -A -t 172.25.10.100:80 -s rr
[root@server4 init.d]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.2:80 -g
[root@server4 init.d]# ipvsadm -a -t 172.25.10.100:80 -r 172.25.10.3:80 -g
[root@server4 init.d]# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.10.100:http rr
-> server2:http Route 1 0 0
-> server3:http Route 1 0 0
# 下载keepalived-1.4.3.tar.gz,并解压
[root@server1 ~]# tar zxf keepalived-1.4.3.tar.gz
[root@server1 ~]# ls
anaconda-ks.cfg keepalived-1.4.3 varnish-3.0.5-1.el6.x86_64.rpm
install.log keepalived-1.4.3.tar.gz varnish-libs-3.0.5-1.el6.x86_64.rpm
install.log.syslog ldirectord-3.9.5-3.1.x86_64.rpm
[root@server1 ~]# cd keepalived-1.4.3
[root@server1 keepalived-1.4.3]# ls
aclocal.m4 ChangeLog CONTRIBUTORS genhash keepalived.spec.in missing
ar-lib compile COPYING INSTALL lib README.md
AUTHOR configure depcomp install-sh Makefile.am snap
bin_install configure.ac doc keepalived Makefile.in TODO
# 源码安装keepalived
# 第一步:源码编译
[root@server1 keepalived-1.4.3]# ./configure --prefix=/usr/local/keepalived --with-init=SYSV
# 出现报错(需要安装openssl-devel)
!!! OpenSSL is not properly installed on your system. !!!
!!! Can not include OpenSSL headers files. !!!
# 安装openssl-devel之后,重新编译
Keepalived configuration
------------------------
Keepalived version : 1.4.3
Compiler : gcc
Preprocessor flags :
Compiler flags : -Wall -Wunused -Wstrict-prototypes -Wextra -g -O2 -D_GNU_SOURCE -fPIE
Linker flags : -pie
Extra Lib : -lcrypto -lssl
Use IPVS Framework : Yes
IPVS use libnl : No
IPVS syncd attributes : No
IPVS 64 bit stats : No
fwmark socket support : Yes
Use VRRP Framework : Yes
Use VRRP VMAC : Yes
Use VRRP authentication : Yes
With ip rules/routes : Yes
SNMP vrrp support : No
SNMP checker support : No
SNMP RFCv2 support : No
SNMP RFCv3 support : No
DBUS support : No
SHA1 support : No
Use Debug flags : No
smtp-alert debugging : No
Use Json output : No
Stacktrace support : No
Memory alloc check : No
libnl version : None
Use IPv4 devconf : No
Use libiptc : No
Use libipset : No
init type : SYSV
Build genhash : Yes
Build documentation : No
*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.
## 编译成功
# 第二步:检测安装环境
[root@server1 keepalived-1.4.3]# make
# 第三步:安装
[root@server1 keepalived-1.4.3]# make install
# 为使软件能够运行,需要作软链接
[root@server6 init.d]# ln -s /usr/local/keepalived/etc/keepalived/ /etc/
[root@server6 keepalived]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[root@server6 keepalived]# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
[root@server6 keepalived]# ln -s /usr/local/keepalived/sbin/keepalived /sbin/
# 切换目录
[root@server1 local]# cd keepalived/etc/rc.d/init.d/
[root@server1 init.d]# ls
keepalived
[root@server1 init.d]# chmod +x keepalived
[root@server1 init.d]# ls
keepalived
[root@server1 init.d]# ll keepalived
-rwxr-xr-x 1 root root 1308 6月 22 21:00 keepalived
# 安装mailx,程序动态以邮件方式显示,在/var/log/messages
yum install -y mailx
# 编辑配置文件 vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email { #指定keepalived在发生切换时需要发送email到的对象,一行一个
root@localhost
}
notification_email_from keepalived@localhost #指定发件人
smtp_server 127.0.0.1 #指定smtp服务器地址
smtp_connect_timeout 30 #指定smtp连接超时时间
router_id LVS_DEVEL #运行keepalived机器的一个标识
vrrp_skip_check_adv_addr
# vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER #指定那个为master,那个为backup,如果设置了nopreempt这个值不起作用,主备考priority决定
interface eth0 #设置实例绑定的网卡 VRRP心跳包从哪块网卡发出
virtual_router_id 51 #VPID标记 相同VRID的LVS属于同一组,根据优先级选举出一个主
priority 100 # 优先级(1-254,数越大,优先级越高)
advert_int 1 #检查间隔,默认1秒 VRRP心跳包的发送周期,单位为s 组播信息发送间隔,两个节点设置必须一样(实际并不一定完全是10秒,测试结果是小于10秒的随机值)
authentication {
auth_type PASS #认证方式
auth_pass 1111 #认证密码(密码只识别前8位)
}
virtual_ipaddress { #设置vip
172.25.10.100
}
}
virtual_server 172.25.10.100 80 {
delay_loop 3 #健康检查时间间隔
lb_algo rr #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh,此处为平衡轮询
lb_kind DR #负载均衡转发规则NAT|DR|RUN
# persistence_timeout 50 #会话保持时间
protocol TCP #使用的协议
real_server 172.25.10.2 80 {
weight 1 #权重默认为1,0为失效
TCP_CHECK {
connect_timeout 3 #连接超时时间
retry 3 #重连次数
delay_before_retry 3 #重连间隔时间
}
}
real_server 172.25.10.3 80 {
weight 1
TCP_CHECK {
connect_timeout 3
retry 3
delay_before_retry 3
}
}
}
## 配置完后需要重新加载:/etc/init.d/keepalived reload
## 尽量不要重启服务
nopreempt #设置为不抢占 注:这个配置只能设置在backup主机上,而且这个主机优先级要比另外一台高
首先nopreemt必须在state为BACKUP的节点上才生效(因为是BACKUP节点决定是否来成为MASTER的),
其次要实现类似于关闭auto failback的功能需要将所有节点的state都设置为BACKUP,或者将master节点的priority设置的比BACKUP低。
我个人推荐使用将所有节点的state都设置成BACKUP并且都加上nopreempt选项,这样就完成了关于autofailback功能,
当想手动将某节点切换为MASTER时只需去掉该节点的nopreempt选项并且将priority改的比其他节点大,然后重新加载配置文件即可(等MASTER切过来之后再将配置文件改回去再reload一下)。
server4
server4配置和server1相同,作为热备使用,在server1出现问题是,自动顶替server1工作
注意:源码便已安装的keepalived(包括配置文件),可通过scp发送到server4
[root@server1 ~]# scp -r /usr/local/keepalived/ server4:/usr/local/
[root@server1 ~]# scp /etc/keepalived/keepalived.conf server4:/etc/keepalived/
需要修改如下:
# 修改配置文件 state BACKUP
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51 ## 必须和server1相同
priority 50 # 必须低于server1
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.10.100
}
}
后端服务器设置
server2和server3配置相同
# 设置虚拟ip
[root@server2 ~]# ip addr add 172.25.10.100/32 dev eth0
[root@server2 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:0a:d5:22 brd ff:ff:ff:ff:ff:ff
inet 172.25.10.2/24 brd 172.25.10.255 scope global eth0
inet6 fe80::5054:ff:fe0a:d522/64 scope link
valid_lft forever preferred_lft forever
# 安装http服务,并设置默认发布文件
[root@server2 ~]# cat /var/www/html/index.html
<h1>server2</h1>
[root@server2 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.10.2 for ServerName
[ OK ]
# 安装arptables_jf.x86_64
[root@server2 ~]# yum install arptables_jf.x86_64 -y
# 添加策略
[root@server2 ~]# arptables -A IN -d 172.25.10.100 -j DROP
[root@server2 ~]# arptables -A OUT -s 172.25.10.100 -j mangle --mangle-ip-s 172.25.10.2
# 保存策略
[root@server2 ~]# /etc/init.d/arptables_jf save
Saving current rules to /etc/sysconfig/arptables: [ OK ]
# 查看策略
[root@server2 ~]# arptables -L
Chain IN (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
DROP anywhere 172.25.10.100 anywhere anywhere any any any any
Chain OUT (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
mangle 172.25.10.100 anywhere anywhere anywhere any any any any --mangle-ip-s server2
Chain FORWARD (policy ACCEPT)
target source-ip destination-ip source-hw destination-hw hlen op hrd pro
客户端测试
# server1 和 server4 正常 (server4作为热备)
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# arp -an | grep 100
? (172.25.10.100) at 52:54:00:88:1f:4e [ether] on br0 #server1的MAC
# server1 出现问题 ,server4自动顶替
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server2</h1>
[root@foundation10 Desktop]# arp -an | grep 100
? (172.25.10.100) at 52:54:00:d9:d6:39 [ether] on br0 #server4的MAC
# 日志记录:
# server1:keepalived出现问题停止
[root@server1 keepalived]# cat /var/log/messages
Jun 22 23:14:04 server1 Keepalived[6746]: Stopping
Jun 22 23:14:04 server1 kernel: IPVS: __ip_vs_del_service: enter
Jun 22 23:14:04 server1 Keepalived_vrrp[6749]: VRRP_Instance(VI_1) sent 0 priority
Jun 22 23:14:04 server1 Keepalived_vrrp[6749]: VRRP_Instance(VI_1) removing protocol VIPs.
Jun 22 23:14:04 server1 Keepalived_healthcheckers[6748]: Removing service [172.25.10.2]:tcp:80 from VS [172.25.10.100]:tcp:80
Jun 22 23:14:04 server1 Keepalived_healthcheckers[6748]: Removing service [172.25.10.3]:tcp:80 from VS [172.25.10.100]:tcp:80
Jun 22 23:14:04 server1 Keepalived_healthcheckers[6748]: Stopped
Jun 22 23:14:05 server1 Keepalived_vrrp[6749]: Stopped
Jun 22 23:14:05 server1 Keepalived[6746]: Stopped Keepalived v1.4.3 (04/09,2018)
# server4:
Jun 22 23:14:04 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Entering MASTER STATE
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) setting protocol VIPs.
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:05 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
Jun 22 23:14:10 server4 Keepalived_vrrp[1128]: Sending gratuitous ARP on eth0 for 172.25.10.100
# 后端服务器其中一个出现问题(如:server2)
[root@foundation10 Desktop]# curl 172.25.10.100
curl: (7) Failed connect to 172.25.10.100:80; Connection refused
[root@foundation10 Desktop]# curl 172.25.10.100
<h1>server3</h1>
LVS-NAT工作模式
一、后端服务器设置
Server6和server7(设置同网段不同的ip),以server7为例:
1.网络设置(ip和网关)
2.开启http服务
二、VS服务端(调度端)
1.开启路由
在配置文件/etc/sysctl.conf中修改
sysctl -p 即时生效
sysctl -a | grep ip_forward 查询状态
2.定义集群,并设置节点
三、客户端测试
LVS-TUN 隧道工作模式
至少三台服务器(一台调度服务器,两台后端服务器)
一、后端服务器设置
后端服务器Server6
1.配置网络,设置rip
重启网络
2.隧道上添加vip,并激活tunl0
3.添加静态路由
4.关闭过滤
5.开启路由
6.安装arptables_jf,开启arptables 策略
7.开启http服务
后端服务器Server7(除r-ip外,同Server6)
二、调度服务器设置
1.设置网络
2.导入模块ipip
3.隧道上添加vip,并激活tunl0
4.添加静态路由
5.开启路由
6.安装ipvsadm(修改yum源(redhat6需要,redhat7不需要)
7.定义集群,添加节点
三、客户端测试
fullnat工作模式(需要编译内核)
1.虚拟机配置要求:
ip:172.25.10.5
Memory(RAM):至少2048MiB
并关闭物理机上所有的虚拟机
2.下载内核安装包和fullnat安装包(www.pkgs.org),并在(http://kb.linuxvirtualserver.org/wiki/IPVS_FULLNAT_and_SYNPROXY查看编译步骤)
3. 安装rpm-bulid (安装以.src结尾的文件时需要)
yum install rpm-bulid -y
4.强制安装内核
安装完成后出现一个目录:
5.检测编译环境
发现有许多错误,原因是依赖性未解决:
不能从镜像中安装的所需要的依赖包,可以在网上(pkgs.org)下载
# 以下两个镜像中没有
asciidoc-8.4.5-4.1.el6.noarch.rpm
newt-devel-0.52.11-3.el6.x86_64.rpm
slang-devel-2.2.1-1.el6.x86_64.rpm (安装以上两个软件时,需要安装此软件,解决其依赖性)
重新编译:切换到~/rpmbuild/SPECS/
在检测编译环境时,执行 rngd -r /dev/urandom(需要安装 rng-tools)命令,快速生成key
重新开一个shell连接server5,寻找命令rngd 所在的包,找到后下载,并安装:
6.编译完成后,切回根目录,解压fullnat安装包
7.拷贝补丁到内核安装目录中,并打上补丁(不能重复打补丁)
打补丁:
[root@server5 linux-2.6.32-220.23.1.el6.x86_64]# patch -p1 < lvs-2.6.32-220.23.1.el6.patch
查看隐藏文件,生成.config.old的文件,说明补丁完成:
8.编辑编译后生成的文件
在EXTRAVERSION= (后面添加内容)
9.检测安装环境make
编译完成
10.安装模块:make modules_install
11.写入:make install
12.编辑启动项文件,default = 0 首先启动
13.重启后,查看内核版本
14.编译完成后更新ipvsadm和keepalived
查看内核为自己所编译的,然后切入lvs目录当中解压tools压缩包
切换到tools目录下,进入keepalived目录中
切入目录后进行源码编译,编译的时候附带自己的内核目录
内核目录地址:
编译报错发现少包,yum进行下载
下载后继续进行源码编译,少包,继续安装:
下载完成后继续源码编译,编译成功后,继续make—–>make install。
然后切换到ipvsadm目录中,查看有Makefile,可以直接make编译和安装。
然后 make——>make install
编译内核及更新ipvsadm成功。