18.11 LVS DR模式搭建
在生产环境用中的比较多的是DR模式,NAT模式有瓶颈,节省公网IP,对小公司来说公网IP也是花钱的,如果是配置的多台机器,每台机器都去配置一个公网IP就是很浪费资源的情况,而且当下公网IP越来越少; 另一种方案,搭建内部的lvs,全部都用内网,包括VIP也用内网,用一个公网IP做一个映射;公网的80端口映射到内网VIP的80端口,这样可以节省IP
DR模式搭建 - 准备工作
• 三台机器
• dir aminglinux-02(dir) 192.168.133.131
• rs1 aminglinux-01(rs1)192.168.133.130
• rs2 aminglinux-03(rs2)192.168.133.132
• vip 192.168.133.200
因为前一章节做了NAT模式,现在需要把两台rs 机器的网关 给改回来,原来的dir机器上配置的ens34的网卡就先不理他。
确保两台rs公网能ping通外网
- aminglinux-01
[root@aminglinux-01 ~]# ping baidu.com
PING baidu.com (220.181.57.217) 56(84) bytes of data.
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=1 ttl=128 time=49.2 ms
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=2 ttl=128 time=49.4 ms
^C
--- baidu.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 49.216/49.356/49.496/0.140 ms
- aminglinux-03
[root@aminglinux-03 ~]# ping baidu.com
PING baidu.com (220.181.57.217) 56(84) bytes of data.
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=1 ttl=128 time=49.9 ms
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=2 ttl=128 time=49.2 ms
^C
--- baidu.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1000ms
rtt min/avg/max/mdev = 49.202/49.600/49.998/0.398 ms
dir机器配置
创建一个脚本
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward //打开端口转发
ipv=/usr/sbin/ipvsadm
vip=192.168.133.200
rs1=192.168.133.130
rs2=192.168.133.132
#注意这里的网卡名字
ifdown ens32
ifup ens32
ifconfig ens32:2 $vip broadcast $vip netmask 255.255.255.255 up //给一个网卡设置一个虚拟网卡
route add -host $vip dev ens32:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1 //-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
rs 机器配置
两台rs机器上也需要创建脚本
使用脚本,对两台机器进行VIP配置,合打开相应的内核参数
vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.133.200
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
- 脚本定义/lo/arp_ignore和/all/arp_ignore的理解:
arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0
- 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
- 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
- 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
- 3 - 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应
- 4-7 - 保留未使用
- 8 -不回应所有(本地地址)的arp查询
- 脚本定义/lo/arp_announce和/all/arp_announce的理解
arp_announce:对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
- 0 - (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址
- 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
- 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
脚本做好以后,启动脚本,检查一下相关IP配置上是否成功
- aminglinux-02(dir)
[root@aminglinux-02 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:c4:13:b8 brd ff:ff:ff:ff:ff:ff
inet 192.168.133.131/24 brd 192.168.133.255 scope global ens32
valid_lft forever preferred_lft forever
inet 192.168.133.200/32 brd 192.168.133.200 scope global ens32:2
valid_lft forever preferred_lft forever
inet6 fe80::6e6a:61ff:f17c:5942/64 scope link
valid_lft forever preferred_lft forever
3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:c4:13:c2 brd ff:ff:ff:ff:ff:ff
inet 192.168.142.144/24 brd 192.168.142.255 scope global ens34
valid_lft forever preferred_lft forever
inet6 fe80::acc1:13e6:b0b6:33ab/64 scope link
valid_lft forever preferred_lft forever
- aminglinux-01(rs1)
[root@aminglinux-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.133.200/32 brd 192.168.133.200 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:7d:ea:88 brd ff:ff:ff:ff:ff:ff
inet 192.168.133.130/24 brd 192.168.133.255 scope global ens32
valid_lft forever preferred_lft forever
inet6 fe80::daff:1b44:6a0f:1211/64 scope link
valid_lft forever preferred_lft forever
- aminglinux-03(rs2)
[root@aminglinux-03 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.133.200/32 brd 192.168.133.200 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:1e:9d:3b brd ff:ff:ff:ff:ff:ff
inet 192.168.133.132/24 brd 192.168.133.255 scope global ens32
valid_lft forever preferred_lft forever
inet6 fe80::8545:c24c:4117:9247/64 scope link
valid_lft forever preferred_lft forever
inet6 fe80::6e6a:61ff:f17c:5942/64 scope link tentative dadfailed
valid_lft forever preferred_lft forever
测试
因为浏览器有缓存,所以没有办法及时的查看到lvs负载均衡的效果;但是通过刷新浏览器VIP地址,然后在dir机器是上查看ipvsadm的情况,可以发现,每一次刷新,ActiveConn都会有变化,刷新次数到一定数量是,InActConn也会产生变回,可见我们的实验是成功的。 这时问题就来了,如果因为有缓存,就没有办法及时的查看到浏览器的变化,我们如何确定负载均衡是否成功?其实这些都是不用担心的,因为当访问量达到一定数量时,负载均衡的效果就会慢慢的显示出来,如同我们实验一样,正是因为访问量小,我们看到的页面都是一样;
总结:
lvs 不管是nat 还是dr 模式 配置过程都挺简单的,需要注意的是修改内核参数,打开端口转发;NAT模式比较重要的是就是rs的网关为dir的IP
18.12 keepalived + LVS
• 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载均衡的功能,所以本次实验可以只安装一台keepalived
为什么需要把keepalived 加到lvs 中的目的是什么
lvs有个分发器角色,如果宕掉以后,后端的rs就没有办法继续使用,所以需要用keepalived做一个高可用
在使用lvs的时候,当后端有一台rs机器宕机时,lvs照样会分发数据到这台宕机机器,这是就会出现访问无效的情况,说明lvs并不聪明;这时使用keepalived,就可以保证集群中其中一台rs宕机了,web还能正常提供,不会出现用户访问时无效链接的结果;一般这种架构,肯定是2台keepalived;
因为keepalived内置了ipvsadm的功能,所以不再需要安装ipvsadm的包,也不用再编写和执行.sh脚本
准备工作
• 三台机器分别为:
• dir(安装keepalived)133.130 • rs1 133.132 • rs2 133.133 • vip 133.200
清空ipvsadm规则
ipvsadm -C
查看一下ipvsadm的规则
[root@aminglinux-02 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
清除之前配置的IP
sytemctl restart network
dir机器配置
•编辑keepalived配置文件
vim /etc/keepalived/keepalived.conf//内容如下
vrrp_instance VI_1 {
#备用服务器上为 BACKUP
state MASTER
#绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下
interface ens32
virtual_router_id 51
#备用服务器上为90
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux
}
virtual_ipaddress {
192.168.188.110 //vip 地址
}
}
virtual_server 192.168.188.110 80 { //vip 地址
#(每隔10秒查询realserver状态)
delay_loop 10
#(lvs 算法)
lb_algo wlc
#(DR模式)
lb_kind DR
#(同一IP的连接60秒内被分配到同一台realserver)
persistence_timeout 0
#(用TCP协议检查realserver状态)
protocol TCP
real_server 192.168.133.130 80 { //rs1机器
#(权重)
weight 100
TCP_CHECK {
#(10秒无响应超时)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
real_server 192.168.133.132 80 { //rs2机器
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
修改好配置以后,启动keepalived
[root@aminglinux-02 ~]# systemctl start keepalived
检查keepalived是否启动
[root@aminglinux-02 ~]# ps aux |grep keep
root 2883 0.0 0.0 111708 1300 ? Ss 19:14 0:00 /usr/sbin/keepalived -D
root 2884 0.0 0.1 120572 3128 ? S 19:14 0:00 /usr/sbin/keepalived -D
root 2885 0.0 0.1 120444 2396 ? S 19:14 0:00 /usr/sbin/keepalived -D
root 2890 0.0 0.0 112664 976 pts/1 R+ 19:14 0:00 grep --color=auto keep
查看启动后的规则
[root@aminglinux-02 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.133.200:80 wlc
-> 192.168.133.130:80 Route 100 0 0
-> 192.168.133.132:80 Route 100 0 0
重点
1.打开dir机器的端口转发
echo 1 > /proc/sys/net/ipv4/ip_forward //打开端口转发
2.运行前一章在rs机器上创建的lvs_rs.sh脚本
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
测试
总结:\
keepalived 有一个比较好的功能,可以在一台rs宕机的时候,及时把他踢出 ipvsadm 集群,将不再发送数据包给,也就很好的避免的访问无连接的情况发送