LVS负载均衡机制:

LVS工作在网络 层。相对于其它负载均衡的解决办法,比如DNS域名轮流解析、应用层负载的调度、客户端的调度等,它的效率是非常高的。LVS的通过控制IP来实现负载均 衡。IPVS是其具体的实现模块。IPVS的主要作用:安装在Director Server上面,在Director Server虚拟一个对外访问的IP(VIP)。用户访问VIP,到达Director Server,Director Server根据一定的规则选择一个Real Server,处理完成后然后返回给客户端数据。这些步骤产生了一些具体的问题,比如如何选择具体的Real Server,Real Server如果返回给客户端数据等等。IPVS为此有三种机制:

1.VS/NAT(Virtual Server via Network Address Translation),即网络地址翻转技术实现虚拟服务器。当请求来到时,Diretor server上处理的程序将数据报文中的目标地址(即虚拟IP地址)改成具体的某台Real Server,端口也改成Real Server的端口,然后把报文发给Real Server。Real Server处理完数据后,需要返回给Diretor Server,然后Diretor server将数据包中的源地址和源端口改成VIP的地址和端口,最后把数据发送出去。由此可以看出,用户的请求和返回都要经过Diretor Server,如果数据过多,Diretor Server肯定会不堪重负。

2.VS/TUN(Virtual Server via IP Tunneling),即IP隧道技术实现虚拟服务器。它跟VS/NAT基本一样,但是Real server是直接返回数据给客户端,不需要经过Diretor server,这大大降低了Diretor server的压力。

3.VS/DR(Virtual Server via Direct Routing),即用直接路由技术实现虚拟服务器。跟前面两种方式,它的报文转发方法有所不同,VS/DR通过改写请求报文的MAC地址,将请求发送到 Real Server,而Real Server将响应直接返回给客户,免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的,但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上

DR工作模式     支持约100个左右的应用
NAT工作模式  支持约10~20
个左右的应用
TUN工作模式   支持约100个左右的应用

 

一、安装环境

CentOS-6.7-x86_64 四台

分别部署的服务

keepalived 主

keepalived 从

nginx 两台

二、ip分布

keepalived 主:192.168.1.4

keepalived 从 :192.168.1.5

nginx         主    :192.168.1.7

nginx         从     :192.168.19

lvs          虚拟ip  :192.168.1.20

所需软件包keepalived ipvsadm

三、服务部署

1、keepalived 主

1.安装keepalived ipvsadm 服务,主从一样安装这两个服务

 [root@localhost ~]# yum -y install keepalived ipvsadm

2.配置主配置文件

########主配置文件

[root@localhost ~]#vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

 router_id LVS-1   #实例名,可以配置多个实例,一个实例一行,一个实例一个虚拟块

                                   }                                                                                           vrrp_instance VI_1 {         #跟实例组中的实例名一样

state MASTER                ##设置lvs的状态,MASTER和BACKUP两种,必须大写

interface eth0                #对外提供服务的网络接口

virtual_router_id 52          #虚拟路由标识,MASTER和BACKUP是一致的,但在整个VRRP中是唯一的

priority 100                  #优先级,数值越大,优先级越高,MASTER要高于 BACKUP                                              

advert_int 1      #同步检查间隔时间,MASTER和BACKUP之间同步检查的时间间隔,单位为秒

authentication {   #同步验证,验证密码为明文,MASTER和BACKUP之间的密码和验证类型必须一致

auth_type PASS                               #验证方式,就用PASS                   

auth_pass 1112                               #VRRP密码

                                                                                      }                                                                                           virtual_ipaddress {  # 虚拟地址,可写多个,一个IP一行

192.168.3.30       #这里设置的IP,一定要和real server的lvs脚本中的VIP一致

                                      }                                                                                                                                               

}                                                                                           virtual_server 192.168.3.30 80 { #虚拟服务器配置,此处IP就是之前的VIP,端口就是需要提供负载的端口,比如80,3306等等            

delay_loop 6                   #延时等待时间,单位为

lb_algo   rr

lb_kind DR                 #HA调度算法,互联网一般就用wlc加权最小连接调度和rr轮询round robin

#   persistence_timeout 600 #会话保持时间,单一链接重连保持时间秒,可以理解为sessio共

protocol TCP               #转发协议,一般都是采用TCP方式,也可以使用UDP

real_server 192.168.3.153 80 {    #真实服务器的IP+端口,理解为需要高可用的应用服务,比如80,3306等等                        

weight 1   #权重值,值越大,权重越高,可以承担的负载雨大,服务器硬件比较好,可以使用高一点的权重    

 HTTP_GET {         #HTTP协议检查

url {   

     path /index.html

     digest 070b49915221a57de67e89932afed22  ##该密钥是genhash -s ip  -p 80 -u /主页生成的

}   

connect_timeout 3             #连接超时时间,单位秒                                

 nb_get_retry 3               #检测失败后,重试次数,超出设定值,将后端服务器移除

  delay_before_retry 3        #失败重试时间                                             

 }   

 }

 real_server 192.168.3.154 80 {

 weight 1

 HTTP_GET {

            url {

              path /index.html

              digest e8c723dd72644280df67f74deb090bf9

            }   

           connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }   

    }

}


4.从配置文件

[root@localhost ~]#vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

   router_id LVS-2

}

vrrp_instance VI_1 {

    state BACKUP

    interface eth0

    virtual_router_id 52

    priority 50

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1112

    }   

    virtual_ipaddress {

        192.168.3.30

    }   

}

virtual_server 192.168.3.30 80 {

    delay_loop 6

    lb_algo rr

    lb_kind DR

   # persistence_timeout 600

    protocol TCP

    real_server 192.168.3.153 80 {

        weight 1

        HTTP_GET {

            url {

              path /index.html

              digest 070b49915221a57de67e89932afed227

            }

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }   

    real_server 192.168.3.154 80 {

        weight 1

        HTTP_GET {

            url {

              path /index.html

              digest e8c723dd72644280df67f74deb090bf9

            }

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }   

}


3、nginx 安装两台安装方法一样  可以安装脚本teng_..

  1.下载nginx 包

  从该网址下载 http://nginx.org/en/download.html

  nginx-1.2.9.tar.gz

  下载完成之后解压

  tar -zxvf nginx-1.2.9.tar.gz -C /usr/local/

  yum 安装nginx 需要的包

 [root@localhost ~]# yum install -y gcc gcc-c++ zlib-devel    openssl openssl-devel net-snmp-*

  编译安装nginx

  [root@localhost ~]# cd /usr/local/nginx-1.2.9

  [root@nginx-1.2.9~]# ./configure --prefix=/usr/local/nginx  && make && make install

  进入编译的安装目录里面编写index 首页做为测试区别

   [root@localhost ~]#cd /usr/local/nginx/html

   [root@localhost ~]#echo -e "MASTER" > index.html

   [root@localhost ~]# echo -e "BACKUP" > index.html  ##另一台nginx 服务

   拉起nginx 服务

   ./usr/local/nginx/sbin

4、配置realserver  两台nginx 都需要配置nginx 服务

5.获取MD5加密字符串 得到的MD5加密字 添加到keepalived 配置文件中(该命令执行时)

   [root@localhost ~]#genhash -s 192.168.3.153  -p 80 -u  /index.html

   [root@localhost ~]#genhash -s 192.168.3.154  -p 80 -u  /index.html


6.创建realserver

[root@localhost ~]# vi /etc/init.d/realserver

#! /bin/bash

SYN_VIP=192.168.3.30

source /etc/rc.d/init.d/functions

case "$1" in

start)

    echo "start LVS of real server"

    ifconfig lo:0 $SYN_VIP netmask 255.255.255.255 broadcast $SYN_VIP

    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

       sysctl -p >/dev/null 2>&1

       echo "RealServer Start OK"

    ;;

stop)

    echo "stop LVS of real server"

       ifconfig lo:0 down

       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

       echo "RealServer Stoped"

       ;;

*)

    echo "USAGE: $0 {start|stop}"

    exit 1

esac

 2.拉起服务 [root@localhost ~]#/etc/init.d/realserver start

四、测试

先关闭一个keepalived 服务然后尝试在wen 上输入虚拟IP 看是否会自动切换 随便更改一个html 的主页信息看是否可以能够显示。

更改回来之后有能访问则说明成功

五、问题总结

1.selinux 是否关闭

2.keepalived配置文件是否有问题

3.ip 之间是否全部通信

4.iptables 是否关闭

5. ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  ip:80 rr
  -> ip80              Route   1      1          0         
  -> ip:80              Route   1      0          1     

  查看ipvsadm -ln 可以看到访问或者查看日志(/var/log/messages)是否被加载或者被替除