18.11 LVS DR模式搭建18.12 keepalived + LVS

本文介绍LVS的DR模式配置方法及Keepalived的使用技巧,旨在实现服务器集群的负载均衡与高可用性。通过详细步骤展示如何在多台服务器上配置DR模式,并利用Keepalived监测真实服务器状态,确保服务稳定运行。

18.11 LVS DR模式搭建

在生产环境用中的比较多的是DR模式,NAT模式有瓶颈,节省公网IP,对小公司来说公网IP也是花钱的,如果是配置的多台机器,每台机器都去配置一个公网IP就是很浪费资源的情况,而且当下公网IP越来越少; 另一种方案,搭建内部的lvs,全部都用内网,包括VIP也用内网,用一个公网IP做一个映射;公网的80端口映射到内网VIP的80端口,这样可以节省IP

DR模式搭建 - 准备工作

• 三台机器

• dir aminglinux-02(dir) 192.168.133.131
• rs1 aminglinux-01(rs1)192.168.133.130
• rs2 aminglinux-03(rs2)192.168.133.132
• vip 192.168.133.200

因为前一章节做了NAT模式,现在需要把两台rs 机器的网关 给改回来,原来的dir机器上配置的ens34的网卡就先不理他。

确保两台rs公网能ping通外网

  • aminglinux-01
[root@aminglinux-01 ~]# ping baidu.com
PING baidu.com (220.181.57.217) 56(84) bytes of data.
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=1 ttl=128 time=49.2 ms
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=2 ttl=128 time=49.4 ms
^C
--- baidu.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 49.216/49.356/49.496/0.140 ms
  • aminglinux-03
[root@aminglinux-03 ~]# ping baidu.com
PING baidu.com (220.181.57.217) 56(84) bytes of data.
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=1 ttl=128 time=49.9 ms
64 bytes from 220.181.57.217 (220.181.57.217): icmp_seq=2 ttl=128 time=49.2 ms
^C
--- baidu.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1000ms
rtt min/avg/max/mdev = 49.202/49.600/49.998/0.398 ms

dir机器配置

创建一个脚本

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward   //打开端口转发
ipv=/usr/sbin/ipvsadm   
vip=192.168.133.200
rs1=192.168.133.130
rs2=192.168.133.132
#注意这里的网卡名字
ifdown ens32
ifup ens32
ifconfig ens32:2 $vip broadcast $vip netmask 255.255.255.255 up   //给一个网卡设置一个虚拟网卡
route add -host $vip dev ens32:2  
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1  //-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

rs 机器配置

两台rs机器上也需要创建脚本

使用脚本,对两台机器进行VIP配置,合打开相应的内核参数

vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.133.200
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  • 脚本定义/lo/arp_ignore和/all/arp_ignore的理解:

arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0

  1. 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
  2. 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
  3. 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
  4. 3 - 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应
  5. 4-7 - 保留未使用
  6. 8 -不回应所有(本地地址)的arp查询
  • 脚本定义/lo/arp_announce和/all/arp_announce的理解

arp_announce:对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口

  1. 0 - (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址
  2. 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
  3. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

脚本做好以后,启动脚本,检查一下相关IP配置上是否成功

  • aminglinux-02(dir)
[root@aminglinux-02 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:c4:13:b8 brd ff:ff:ff:ff:ff:ff
    inet 192.168.133.131/24 brd 192.168.133.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet 192.168.133.200/32 brd 192.168.133.200 scope global ens32:2
       valid_lft forever preferred_lft forever
    inet6 fe80::6e6a:61ff:f17c:5942/64 scope link
       valid_lft forever preferred_lft forever
3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:c4:13:c2 brd ff:ff:ff:ff:ff:ff
    inet 192.168.142.144/24 brd 192.168.142.255 scope global ens34
       valid_lft forever preferred_lft forever
    inet6 fe80::acc1:13e6:b0b6:33ab/64 scope link
       valid_lft forever preferred_lft forever
  • aminglinux-01(rs1)
[root@aminglinux-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.133.200/32 brd 192.168.133.200 scope global lo:0
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:7d:ea:88 brd ff:ff:ff:ff:ff:ff
    inet 192.168.133.130/24 brd 192.168.133.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::daff:1b44:6a0f:1211/64 scope link
       valid_lft forever preferred_lft forever
  • aminglinux-03(rs2)
[root@aminglinux-03 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.133.200/32 brd 192.168.133.200 scope global lo:0
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:1e:9d:3b brd ff:ff:ff:ff:ff:ff
    inet 192.168.133.132/24 brd 192.168.133.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::8545:c24c:4117:9247/64 scope link
       valid_lft forever preferred_lft forever
    inet6 fe80::6e6a:61ff:f17c:5942/64 scope link tentative dadfailed
       valid_lft forever preferred_lft forever

测试

image

因为浏览器有缓存,所以没有办法及时的查看到lvs负载均衡的效果;但是通过刷新浏览器VIP地址,然后在dir机器是上查看ipvsadm的情况,可以发现,每一次刷新,ActiveConn都会有变化,刷新次数到一定数量是,InActConn也会产生变回,可见我们的实验是成功的。 这时问题就来了,如果因为有缓存,就没有办法及时的查看到浏览器的变化,我们如何确定负载均衡是否成功?其实这些都是不用担心的,因为当访问量达到一定数量时,负载均衡的效果就会慢慢的显示出来,如同我们实验一样,正是因为访问量小,我们看到的页面都是一样;

总结:
lvs 不管是nat 还是dr 模式 配置过程都挺简单的,需要注意的是修改内核参数,打开端口转发;NAT模式比较重要的是就是rs的网关为dir的IP

18.12 keepalived + LVS

• 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载均衡的功能,所以本次实验可以只安装一台keepalived

为什么需要把keepalived 加到lvs 中的目的是什么
lvs有个分发器角色,如果宕掉以后,后端的rs就没有办法继续使用,所以需要用keepalived做一个高可用
在使用lvs的时候,当后端有一台rs机器宕机时,lvs照样会分发数据到这台宕机机器,这是就会出现访问无效的情况,说明lvs并不聪明;这时使用keepalived,就可以保证集群中其中一台rs宕机了,web还能正常提供,不会出现用户访问时无效链接的结果;一般这种架构,肯定是2台keepalived;

因为keepalived内置了ipvsadm的功能,所以不再需要安装ipvsadm的包,也不用再编写和执行.sh脚本

准备工作

• 三台机器分别为:

• dir(安装keepalived)133.130 • rs1 133.132 • rs2 133.133 • vip 133.200

清空ipvsadm规则

ipvsadm -C

查看一下ipvsadm的规则

[root@aminglinux-02 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

清除之前配置的IP

sytemctl restart network 

dir机器配置

•编辑keepalived配置文件

vim /etc/keepalived/keepalived.conf//内容如下
vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下
    interface ens32
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.188.110   //vip 地址
    }
}
virtual_server 192.168.188.110 80 {   //vip 地址
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 0
    #(用TCP协议检查realserver状态)
    protocol TCP
    real_server 192.168.133.130 80 {  //rs1机器
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
real_server 192.168.133.132 80 {  //rs2机器
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}

修改好配置以后,启动keepalived

[root@aminglinux-02 ~]# systemctl start keepalived

检查keepalived是否启动

[root@aminglinux-02 ~]# ps aux |grep keep
root      2883  0.0  0.0 111708  1300 ?        Ss   19:14   0:00 /usr/sbin/keepalived -D
root      2884  0.0  0.1 120572  3128 ?        S    19:14   0:00 /usr/sbin/keepalived -D
root      2885  0.0  0.1 120444  2396 ?        S    19:14   0:00 /usr/sbin/keepalived -D
root      2890  0.0  0.0 112664   976 pts/1    R+   19:14   0:00 grep --color=auto keep

查看启动后的规则

[root@aminglinux-02 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.133.200:80 wlc
  -> 192.168.133.130:80           Route   100    0          0
  -> 192.168.133.132:80           Route   100    0          0

重点

1.打开dir机器的端口转发

echo 1 > /proc/sys/net/ipv4/ip_forward   //打开端口转发

2.运行前一章在rs机器上创建的lvs_rs.sh脚本

#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

测试

image

总结:\

keepalived 有一个比较好的功能,可以在一台rs宕机的时候,及时把他踢出 ipvsadm 集群,将不再发送数据包给,也就很好的避免的访问无连接的情况发送

转载于:https://my.oschina.net/nova12315/blog/1785492

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值