18.1 集群介绍用keepalived配置高可用集群

最新推荐文章于 2020-03-30 21:12:05 发布

爱晒太阳的云

最新推荐文章于 2020-03-30 21:12:05 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_42213920/article/details/83098534

18.1 集群介绍

18.2 keepalived介绍

18.3/18.4/18.5 用keepalived配置高可用集群

扩展

heartbeat和keepalived比较http://blog.youkuaiyun.com/yunhua_lee/article/details/9788433

DRBD工作原理和配置 http://502245466.blog.51cto.com/7559397/1298945

mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313

Linux集群概述

根据功能划分为两大类：高可用和负载均衡
- 高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务 - 高可用衡量标准，4个九，就是99.99%，表示一个比例，在一年时间内99.99%的时间都是在线的，不允许宕机，不允许服务不可用。另外还有的是5个9，6个9
  - 实现高可用的开源软件有：heartbeat、keepalived
    - heartbeat软件，在centos6中有很多bug，而且很久没有更新版本了，不建议继续使用
    - keepalived软件，不仅有高可用的功能，还有负载均衡的功效，配置也非常简单
- 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
  - 实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler
    - 商业的负载均衡器，相当于是一台设备，成本高昂
      - 商业的负载均衡器，优势在于有更高的并发量，也有很好的稳定性

keepalived介绍

在这里使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果
- heartbeat 切换的时候，会不是很及时——>比如：主已经宕机了，但从却一直启动不了，通信会不顺畅，所以不使用 heartbeat
keepalived通过VRRP（Virtual Router Redundancy Protocl 中文为：虚拟路由冗余协议）来实现高可用。
- 虚拟路由冗余协议(Virtual Router Redundancy Protocol，简称VRRP)是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议，1998年已推出正式的RFC2338协议标准。VRRP广泛应用在边缘网络中，它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱，允许主机使用单路由器，以及及时在实际第一跳路由器使用失败的情形下仍能够维护路由器间的连通性。
在这个协议里，会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
- master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。
Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

用keepalived配置高可用集群

准备两台机器134和135，134作为master，135作为backup
两台机器都执行yum install -y keepalived
两台机器都安装nginx，其中134上已经编译安装过nginx，135上需要yum安装nginx: yum install -y nginx
设定vip为100
编辑134上keepalived配置文件，内容获取地址
134编辑监控脚本，内容获取地址
给脚本755权限
systemctl start keepalived 130启动服务
135上编辑配置文件，内容获取地址
135上编辑监控脚本，内容获取地址
给脚本755权限
135上也启动服务 systemctl start keepalived

keepalived配置高可用集群

首先准备两台机器，都安装keepalived yum install -y keepalived keepalived，实际是包含一个服务的，也就是说这个服务用来实现高可用
这里使用 nginx ，把它作为一个高可用的对象——>使用nginx作为演示对象的原因，因为nginx在工作中，在生产环境中，很多企业把nginx做一个负载均衡器 ,假设nginx一旦挂掉，那么后端所有的web，即使说是正常的，那也无法访问到
若是A、B机器没有装nginx服务，可以直接 yum安装

若是lnmp安装过nginx，则不需要安装了（源码包安装的nginx）
直接yum安装的nginx，两者很容易区分（PS：有时直接yum安装不了，需要安装yum扩展源——>yum install -y epel-release）
源码包安装nginx
源码安装nginx经常出现的错误

B机器yum安装nginx

[root@yong-02 ~]# yum install -y nginx

更改keepalived配置文件了，内容地址
默认的配置文件路径在/etc/keepalived/keepalived.conf
清空文件的快捷键方法 > !$

A机器更改配置文件

[root@yong-01 ~]# ls /etc/keepalived/keepalived.conf

/etc/keepalived/keepalived.conf

[root@yong-01 ~]# > !$

> /etc/keepalived/keepalived.conf

[root@yong-01 ~]# vim !$

vim /etc/keepalived/keepalived.conf //去文件地址去下载内容

将拷贝的内容复制进去

只需要改网卡名字和IP192.168.180.100####################### # 全局配置 #######################

global_defs { //global_defs 全局配置标识

notification_email { //notification_email用于设置报警邮件地址

yyli2008@163.com //可以设置多个，每行一个

}

notification_email_from root@aminglinux.com//设置邮件发送地址

smtp_server 127.0.0.1 //设置邮件的smtp server地址

smtp_connect_timeout 30 //设置连接smtp sever超时时间

router_id LVS_DEVEL

}

###################### # VRRP配置 ######################

vrrp_script chk_nginx {

script "/usr/local/sbin/check_ng.sh" //检查服务是否正常，通过写脚本实现，脚本检查服务健康状态

interval 3 //检查的时间间断是3秒

}

vrrp_instance VI_1 { //VRRP配置标识 VI_1是实例名称

state MASTER //定义master相关

interface ens33 //通过vrrp协议去通信、去发广播。配置时，需注意自己的网卡名称

virtual_router_id 51 //定义路由器ID ，配置的时候和从机器一致

priority 100 //权重，主角色和从角色的权重是不同的

advert_int 1 //设定MASTER与BACKUP主机质检同步检查的时间间隔，单位为秒

authentication { //认证相关信息

auth_type PASS //这里认证的类型是PASS

auth_pass aminglinux>com //密码的形式是一个字符串

}

virtual_ipaddress { //设置虚拟IP地址 (VIP),又叫做漂移IP地址

192.168.180.100 //更改为192.168.180.100

}

track_script { //加载脚本

chk_nginx

}

virtual_ipaddress：简称VIP，这个vip，两台机器，一个主，一个从，正常的情况是主在服务，主宕掉了，从起来了，从启动服务，从启动nginx以后，，启动以后，访问那个IP呢？把域名解析到那个IP上呢？假如解析到主上，主宕掉了，所以这个，需要定义一个公有IP（主上用的IP，从上也用的IP）；这个IP是随时可以夏掉，去配置的
定义监控脚本，脚本内容获取地址
脚本路径在keepalived配置文件中有定义，路径为/usr/local/sbin/check_ng.sh

A机器定义监控脚本

[root@yong-01 ~]# vim /usr/local/sbin/check_ng.sh

#!/bin/bash#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S`

#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`

#如果进程为0，则启动nginx，并且再次检测nginx进程数量，#如果还为0，说明nginx无法启动，此时需要关闭keepalivedif [ $n -eq "0" ]; then

/etc/init.d/nginx start

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log

systemctl stop keepalived

fifi

“脑裂”，在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏
如何判断脑裂？
- 分别在两台机查看当前服务器是否拥有虚拟IP，如果两台服务器都拥有，则说明发生了脑裂，证明目前双机通信出现问题，产生此问题的原有在于两台服务器都探测不到组内其他服务器的状态（心跳请求无法正常响应），私自判定另一台服务器挂起，则抢占虚拟IP，脑裂的出现是不被允许的，解决此问题的方法为检查防火墙设置（关闭防火墙）或者使用串口通信。
脚本创建完之后，还需要改变脚本的权限（不更改权限，就无法自动加载脚本，那就无法启动keepalived服务）

[root@yong-01 ~]# chmod 755 /usr/local/sbin/check_ng.sh

启动keepalived服务，并查看是否启动成功（PS：启动不成功，有可能是防火墙未关闭或者规则限制导致的）
systemctl stop firewalld 关闭firewalld
iptables -nvL
setenforce 0 临时关闭selinux
getenforce命令查看是否为Permissive
这时再来启动keepalived，就会看到keepalived进程服务了

[root@yong-01 ~]# systemctl start keepalived

[root@yong-01 ~]# ps aux |grep keep

root 4979 0.0 0.0 118608 1384 ? Ss 23:14 0:00 /usr/sbin/keepalived -D

root 4980 0.0 0.1 127468 3288 ? S 23:14 0:00 /usr/sbin/keepalived -D

root 4982 0.0 0.1 127340 2820 ? S 23:14 0:00 /usr/sbin/keepalived -D

root 6125 0.0 0.0 112676 984 pts/0 R+ 23:23 0:00 grep --color=auto keep

查看nginx服务进程

[root@yong-01 ~]# ps aux |grep nginx

root 4648 0.0 0.0 24792 760 ? Ss 22:55 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

nobody 4649 0.0 0.0 25188 1720 ? S 22:55 0:00 nginx: worker process

root 6187 0.0 0.0 112676 984 pts/0 R+ 23:24 0:00 grep --color=auto nginx

这时停止nginx服务
/etc/init.d/nginx stop 再来查看nginx服务进程，会看到自动加载了

[root@yong-01 ~]# /etc/init.d/nginx stop

Stopping nginx (via systemctl): [ 确定 ]

[root@yong-01 ~]# ps aux |grep nginx

root 6270 0.0 0.0 24792 756 ? Ss 23:24 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

nobody 6274 0.0 0.0 25188 1212 ? S 23:24 0:00 nginx: worker process

root 6282 0.0 0.0 112676 984 pts/0 R+ 23:24 0:00 grep --color=auto nginx

keepalived日志文件路径 /var/log/messages
查看ip地址，使用 ip add 命令，而不能使用ifconfig命令，因为 ifconfig命令是无法查看到vip192.168.180.100这个IP的

[root@yong-01 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff

inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet 192.168.180.100/32 scope global ens33

valid_lft forever preferred_lft forever

inet6 fe80::8004:45b5:96c5:3ca5/64 scope link

valid_lft forever preferred_lft forever

检查A、B 机器下防火墙和selinux是否关闭了，若没有关闭，可能会导致实验失败
systemctl stop firewalld 关闭firewalld
iptables -nvL
setenforce 0 临时关闭selinux
getenforce命令查看是否为Permissive

以上就是主机器A的配置

backup 机器配置

在B机器yum安装nginx和keepalived
关闭B机器的防火墙和selinux

iptables -F 清空规则
setenforce 0 临时关闭selinux
自定义B机器keepalived配置文件，内容获取地址，更改虚拟IP和主一样的

首先清空B机器keepalived里面自带的配置文件

[root@yong-02 ~]# >/etc/keepalived/keepalived.conf

[root@yong-02 ~]# vim /etc/keepalived/keepalived.conf

然后复制配置文件并粘贴进去，更改虚拟IP和主一样的

global_defs {

notification_email {

yyli2008@163.com

}

notification_email_from root@aminglinux.com

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_script chk_nginx {

script "/usr/local/sbin/check_ng.sh"

interval 3

}

vrrp_instance VI_1 {

state BACKUP //这里和master不一样的名字

interface ens33 //网卡和当前机器一致，否则无法启动keepalived服务

virtual_router_id 51 //和主机器保持一致

priority 90 //权重，要比主机器小的数值

advert_int 1

authentication {

auth_type PASS

auth_pass aminglinux>com

}

virtual_ipaddress {

192.168.180.100 //这里更改为192.168.180.100

}

track_script {

chk_nginx

}

定义监控脚本，路径再keepalived里面已定义过，脚本内容地址
这个脚本和主上的脚本有一点区别，启动nginx的命令不同，因为一个是yum安装，一个是源码包安装

[root@yong-02 ~]# vim /usr/local/sbin/check_ng.sh

#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S`#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`#如果进程为0，则启动nginx，并且再次检测nginx进程数量，#如果还为0，说明nginx无法启动，此时需要关闭keepalivedif [ $n -eq "0" ]; then

systemctl start nginx

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log systemctl stop keepalived

改动脚本的权限，设置为755权限

[root@yong-02 ~]# chmod 755 /usr/local/sbin/check_ng.sh

B机器启动keepalived服务 systemctl start keepalived

[root@yong-02 ~]# systemctl start keepalived

[root@yong-02 ~]# ps aux |grep keepalived

root 2507 0.0 0.0 118608 1384 ? Ss 23:34 0:00 /usr/sbin/keepalived -D

root 2508 0.0 0.1 122804 2376 ? S 23:34 0:00 /usr/sbin/keepalived -D

root 2509 0.0 0.1 122804 2420 ? S 23:34 0:00 /usr/sbin/keepalived -D

root 2515 0.0 0.0 112676 984 pts/0 R+ 23:34 0:00 grep --color=auto keepalived

如何区分主和从上的nginx？

A机器，是源码包安装的nginx

[root@yong-01 ~]# mv /usr/local/nginx/html/index.html /usr/local/nginx/html/index.html.bak

[root@yong-01 ~]# vim /usr/local/nginx/html/index.html

master This is the default sete.

B机器是yum安装的nginx
- 默认的索引页在 /usr/share/nginx/html/index.html

[root@yong-02 ~]# mv /usr/share/nginx/html/index.html /usr/share/nginx/html/index.html.bak

[root@yong-02 ~]# vim /usr/share/nginx/html/index.html

backup backup.

访问192.168.180.100这个VIP会看到和主机器（即A机器相同的内容），说明现在访问到的是机器master，VIP在master上

问题-B机器无法调用nginx服务？

B机器关闭nginx服务，keepalived无法拉动nginx服务起来
解决方法：
- 再次设置755权限，就可以拉动nginx服务了

测试高可用

模拟线上生产环境，主机器宕机环境，最简单直接的方法，就是直接关闭keepalived服务
关闭master机器（即A机器）上的keepalived服务关闭

[root@yong-01 ~]# systemctl stop keepalived

查看A机器上的VIP被已经释放掉了

[root@yong-01 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff

inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet6 fe80::8004:45b5:96c5:3ca5/64 scope link

valid_lft forever preferred_lft forever

查看backup机器（即B机器）在监听VIP

[root@yong-02 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:36:a2:be brd ff:ff:ff:ff:ff:ff

inet 192.168.180.135/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet 192.168.180.100/32 scope global ens33

valid_lft forever preferred_lft forever

inet 192.168.180.136/24 brd 192.168.180.255 scope global secondary ens33:0

valid_lft forever preferred_lft forever

inet6 fe80::c44:f02d:4192:8d42/64 scope link

valid_lft forever preferred_lft forever

查看B机器日志

[root@yong-02 ~]# tail /var/log/messages

Jul 4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

Jul 4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

Jul 4 15:40:49 yong-02 Keepalived_vrrp[2047]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 192.168.180.100

Jul 4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

浏览器访问vip，会看到已经变成backup机器上的了
在master机器（即A机器）启动keepalived服务，会看到vip这个IP立刻回来了

[root@yong-01 ~]# systemctl start keepalived

[root@yong-01 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff

inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet 192.168.180.100/32 scope global ens33

valid_lft forever preferred_lft forever

inet6 fe80::8004:45b5:96c5:3ca5/64 scope link

valid_lft forever preferred_lft forever

查看B机器日志变化

[root@yong-02 ~]# tail /var/log/messages

Jul 4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

Jul 4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

Jul 4 15:40:49 yong-02 Keepalived_vrrp[2047]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 192.168.180.100

Jul 4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

##总结

在生产环境中，可能会用到2-3台backup角色, vim /etc/keepalived/keepalived.conf 这里面的权重调成不通级别，权重越高优先级越高！除了nginx服务的话，还可以做MySQL的高可用集群服务。（做mysql的高可用，一定要保证两边的数据一致）

-----------------------------------------------------------------------------------

18.11 LVS DR模式搭建

18.12 keepalived + LVS

扩展：

haproxy+keepalived http://blog.youkuaiyun.com/xrt95050/article/details/40926255

nginx、lvs、haproxy比较 http://www.youkuaiyun.com/article/2014-07-24/2820837

keepalived中自定义脚本 vrrp_script http://my.oschina.net/hncscwc/blog/158746

lvs dr模式只使用一个公网ip的实现方法 http://storysky.blog.51cto.com/628458/338726

LVS DR模式搭建概述

DR模式搭建 – 准备工作
三台机器
分发器，也叫调度器（简写为dir）180.134
rs1 180.135
rs2 180.138
vip 180.200
DR模式搭建 dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下

#! /bin/bashecho 1 > /proc/sys/net/ipv4/ip_forward

ipv=/usr/sbin/ipvsadm

vip=192.168.180.200

rs1=192.168.180.135

rs2=192.168.180.138

#注意这里的网卡名字

ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip dev ens33:2

$ipv -C

$ipv -A -t $vip:80 -s wrr

$ipv -a -t $vip:80 -r $rs1:80 -g -w 1

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下

#/bin/bash

vip=192.168.180.200#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

分别在dir上和两个rs上执行这些脚本
测试

LVS DR模式搭建

在生产环境用中的比较多的是DR模式，NAT模式有瓶颈，节省公网IP，对小公司来说公网IP也是花钱的，如果是配置的多台机器，每台机器都去配置一个公网IP就是很浪费资源的情况，而且当下公网IP越来越少；
另一种方案，搭建内部的lvs，全部都用内网，包括VIP也用内网，用一个公网IP做一个映射；公网的80端口映射到内网VIP的80端口，这样可以节省IP

准备工作

DR模式，准备三台机器，只需要有有一个网卡，一个IP
分发器，也叫调度器（简写为dir）180.134
rs1 180.135
rs2 180.138
vip 180.200
vip绑定在所有的机器上，不仅分发器需要绑定，还有rs需要绑定

保证机器都可以通信
在dir分发器（即A机器）上编写脚本，在/usr/local/sbin/lvs_dr.sh编辑

[root@yong-01 ~]# vim /usr/local/sbin/lvs_dr.sh #! /bin/bashecho 1 > /proc/sys/net/ipv4/ip_forward

#打开端口转发

ipv=/usr/sbin/ipvsadm

#这是一个变量

vip=192.168.180.200

rs1=192.168.180.135

rs2=192.168.180.138

#注意这里的网卡名字

ifdown ens33

ifup ens33

ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up

#//给一个网卡设置一个虚拟网卡

route add -host $vip dev ens33:2

$ipv -C

$ipv -A -t $vip:80 -s wrr

$ipv -a -t $vip:80 -r $rs1:80 -g -w 1

#这里-g 指定DR模式$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

启动分发器上的脚本

[root@yong-01 ~]# sh /usr/local/sbin/lvs_dr.sh

成功断开设备 'ens33'。

连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）

这里执行脚本出来的信息是没有错的，因为有ifdown ens33和ifup ens33重启网卡
在两台rs上写脚本（即B机器和C机器），在 /usr/local/sbin/lvs_rs.sh 编辑

B机器

[root@yong-02 ~]# vim /usr/local/sbin/lvs_rs.sh

#/bin/bash

vip=192.168.180.200#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifdown lo

ifup lo

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

C机器同上

脚本定义/lo/arp_ignore和/all/arp_ignore的理解：
- arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0
  - 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
  - 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
  - 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
  - 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应
  - 4-7 - 保留未使用
  - 8 -不回应所有（本地地址）的arp查询
脚本定义/lo/arp_announce和/all/arp_announce的理解
- arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
  - 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
  - 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
  - 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
执行B机器和C机器的脚本

sh /usr/local/sbin/lvs_rs.sh

在B机器和C机器执行命令 route -n 能看到有一个vip的路由 192.168.180.200

B机器

[root@yong-02 ~]# route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface

0.0.0.0 192.168.180.2 0.0.0.0 UG 100 0 0 ens33

192.168.180.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33

192.168.180.200 0.0.0.0 255.255.255.255 UH 0 0 0 lo

C机器同上

用ip add命令查看，会看到 lo网卡上有一个vip，设定了一个IP 180.200

B机器

[root@yong-02 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet 192.168.180.200/32 brd 192.168.180.200 scope global lo:0

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:36:a2:be brd ff:ff:ff:ff:ff:ff

inet 192.168.180.135/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet 192.168.180.136/24 brd 192.168.180.255 scope global secondary ens33:0

valid_lft forever preferred_lft forever

inet6 fe80::c44:f02d:4192:8d42/64 scope link

valid_lft forever preferred_lft forever

3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:36:a2:c8 brd ff:ff:ff:ff:ff:ff

C机器同上

在dir分发器上（即A机器），用ip add命令查看，会看到ens33绑定了192.168.180.200

A机器

[root@yong-01 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff

inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet 192.168.180.200/32 brd 192.168.180.200 scope global ens33:2

valid_lft forever preferred_lft forever

inet6 fe80::8004:45b5:96c5:3ca5/64 scope link

valid_lft forever preferred_lft forever

3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:29:2b:6a brd ff:ff:ff:ff:ff:ff

inet 192.168.142.144/24 brd 192.168.142.255 scope global ens37

valid_lft forever preferred_lft forever

inet6 fe80::af5:df02:5a53:e408/64 scope link

valid_lft forever preferred_lft forever

测试

用curl命令访问这个vip（curl测试vip在rs上不太好用的，因为在本机绑定了这个vip，若是访问vip，等于访问自己），但是直接在A机器上去访问vip会发现失败，只能再开一个虚拟机来测试，不过用 ipvsadm -ln 命令，会看到ActiveConn都会有变化，表示实验成功

A机器

[root@yong-01 ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.180.200:80 wrr

-> 192.168.180.135:80 Route 1 1 1 -> 192.168.180.138:80 Route 1 2 1

因为浏览器有缓存，所以没有办法及时的查看到lvs负载均衡的效果；但是通过刷新浏览器VIP地址，然后在dir机器是上查看ipvsadm的情况，可以发现，每一次刷新，ActiveConn都会有变化，刷新次数到一定数量是，InActConn也会产生变回，可见我们的实验是成功的。
这时问题就来了，如果因为有缓存，就没有办法及时的查看到浏览器的变化，我们如何确定负载均衡是否成功？其实这些都是不用担心的，因为当访问量达到一定数量时，负载均衡的效果就会慢慢的显示出来，如同我们实验一样，正是因为访问量小，我们看到的页面都是一样；

总结

lvs 不管是nat 还是dr 模式配置过程都挺简单的，需要注意的是修改内核参数，打开端口转发；NAT模式比较重要的是就是rs的网关为dir的IP

Keepalived+LVS DR 概述

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived
keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
三台机器分别为：
dir（安装keepalived）180.134
rs1 180.135
rs2 180.138
vip 180.200
编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf//内容地址
需要更改里面的ip信息
执行ipvsadm -C 把之前的ipvsadm规则清空掉
systemctl restart network 可以把之前的vip清空掉
两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本
keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去
测试

Keepalived+LVS DR

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived
为什么需要把keepalived 加到lvs 中的目的是什么？
- 原因一：lvs，它有个关键角色，就是dir分发器，如果分发器宕掉，那所有的访问就会被终止，因为所有的入口全都在dir分发器上，所以需要把分发器做一个高可用，用keepalived实现高可用，并且keepalived还有负载均衡的作用。
- 原因二：在使用lvs的时候，如果没有额外的操作，这时将一个rs机器关机（宕机）时，lvs照样会分发数据到这台宕机机器，这是就会出现访问无效的情况，说明lvs并不聪明；这时使用keepalived，就可以保证集群中其中一台rs宕机了，web还能正常提供，不会出现用户访问时无效链接的结果；一般这种架构，肯定是2台keepalived；
因为keepalived内置了ipvsadm的功能，所以不再需要安装ipvsadm的包，也不用再编写和执行.sh脚本

准备工作

准备三台机器，分别为

dir（安装keepalived）180.134
rs1 180.135
rs2 180.138
vip 180.200

在dir分发器（A机器）上，清空ipvsadm规则，并查看ipvsadm规则，会发现已经清空

[root@yong-01 ~]# ipvsadm -C

[root@yong-01 ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

在分发器（即A机器）上编辑配置文件，在/etc/keepalived/keepalived.conf 配置，配置文件内容
因为之前做实验里面编辑过配置文件，这时直接删除，然后粘贴新的配置文件
- 修改配置文件中的网卡、vip ，还有rs机器上的IP

[root@yong-01 ~]# >/etc/keepalived/keepalived.conf

[root@yong-01 ~]# vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {

#备用服务器上为 BACKUP

state MASTER

#绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下

interface ens33

virtual_router_id 51

#备用服务器上为90

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass aminglinux

}

virtual_ipaddress {

192.168.180.200 //vip 地址

}

virtual_server 192.168.180.200 80 { //vip 地址

#(每隔10秒查询realserver状态)

delay_loop 10

#(lvs 算法)

lb_algo wlc

#(DR模式)

lb_kind DR

#(同一IP的连接60秒内被分配到同一台realserver)

persistence_timeout 60

#(用TCP协议检查realserver状态)

protocol TCP

real_server 192.168.180.135 80 { //rs1机器

#(权重)

weight 100

TCP_CHECK {

#(10秒无响应超时)

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

real_server 192.168.180.138 80 { //rs2机器

weight 100

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

启动nginx服务，查看nginx进程，查看keepalived服务

[root@yong-01 ~]# systemctl start nginx

[root@yong-01 ~]# ps aux |grep nginx

root 2290 0.0 0.0 24792 756 ? Ss 22:31 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

nobody 2291 0.0 0.0 25188 1212 ? S 22:31 0:00 nginx: worker process

root 2319 0.0 0.0 112676 984 pts/0 R+ 22:32 0:00 grep --color=auto nginx

[root@yong-01 ~]# ps aux |grep keepalived

root 2303 0.0 0.0 118608 1384 ? Ss 22:31 0:00 /usr/sbin/keepalived -D

root 2304 0.0 0.1 127472 3344 ? S 22:31 0:00 /usr/sbin/keepalived -D

root 2305 0.0 0.1 127340 2612 ? S 22:31 0:00 /usr/sbin/keepalived -D

root 2321 0.0 0.0 112676 984 pts/0 R+ 22:32 0:00 grep --color=auto keepalived

查看IP，会看到虚拟IP依然存在

root 2321 0.0 0.0 112676 984 pts/0 R+ 22:32 0:00 grep --color=auto keepalived

[root@yong-01 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff

inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet 192.168.180.200/32 brd 192.168.180.200 scope global ens33:2

valid_lft forever preferred_lft forever

inet6 fe80::8004:45b5:96c5:3ca5/64 scope link

valid_lft forever preferred_lft forever

查看ipvsadm规则

[root@yong-01 ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.180.200:80 wlc persistent 60

-> 192.168.180.135:80 Route 100 0 0 -> 192.168.180.138:80 Route 100 0 0

这时关闭keepalived服务，再来查看ip，会到虚拟IP停掉了

[root@yong-01 ~]# systemctl stop keepalived

[root@yong-01 ~]# ip add1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

valid_lft forever preferred_lft forever

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff

inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33

valid_lft forever preferred_lft forever

inet6 fe80::8004:45b5:96c5:3ca5/64 scope link

valid_lft forever preferred_lft forever

再来查看规则，会发现没有启动规则

[root@yong-01 ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

这时启动keepalived，再来查看规则

[root@yong-01 ~]# systemctl start keepalived

[root@yong-01 ~]# ps aux |grep keep

root 2341 0.0 0.0 118608 1388 ? Ss 22:35 0:00 /usr/sbin/keepalived -D

root 2342 0.0 0.1 127472 3344 ? S 22:35 0:00 /usr/sbin/keepalived -D

root 2343 0.0 0.1 127340 2616 ? S 22:35 0:00 /usr/sbin/keepalived -D

root 2357 0.0 0.0 112676 984 pts/0 R+ 22:35 0:00 grep --color=auto keep

[root@yong-01 ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.180.200:80 wlc persistent 60

-> 192.168.180.135:80 Route 100 0 0

-> 192.168.180.138:80 Route 100 0 0

注意事项：两点
1打开dir机器的端口转发

echo 1 > /proc/sys/net/ipv4/ip_forward //打开端口转发

2在rs机器上创建的/usr/local/sbin/lvs_rs.sh脚本，依然要执行它

#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0

#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

总结

keepalived 有一个比较好的功能，可以在一台rs宕机的时候，及时把他踢出 ipvsadm 集群，将不再发送数据包给，也就很好的避免的访问无连接的情况发送