Linux集群架构(上)

一、Linux集群概述

• 根据功能划分为两大类：高可用和负载均衡

• 高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务

• 实现高可用的开源软件有：heartbeat、keepalived

• 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2

• 实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler

 

二、keepalived介绍

• 在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果

•  keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。

• 在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。

• master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。

• Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

 

 

三、用keepalived配置高可用

准备两台机器236和182，236作为master，182作为backup

 

两台机器都执行yum install -y keepalived

 

两台机器都安装nginx，其中236上已经编译安装过nginx，182上需要yum安装nginx: yum install -y nginx

 

192.168.0.236上操作：

ps aux |grep nginx                      //检查服务是否启动，未启动执行命令：/etc/init.d/nginx start

 

 

cat /etc/keepalived/keepalived.conf          //查看keepalived配置文件

> /etc/keepalived/keepalived.conf                  //清空原始配置文件

 

 

vim /etc/keepalived/keepalived.conf        //编辑keepalived配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf获取

 

 

vim /usr/local/sbin/check_ng.sh                  //编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh获取

 

 

 

chmod 755 /usr/local/sbin/check_ng.sh        //更改脚本权限

 

systemctl start keepalived             //启动服务

 

ps aux |grep keepalived             //检查服务是否启动

 

停止服务后会自动启动服务

 

 

加载了vip

 

iptables -nvL                   //检查是否有防火墙规则

 

 

192.168.0.182上操作：

systemctl stop firewalld                 //关闭防火墙

 

 

 

> /etc/keepalived/keepalived.conf                 //清空配置文件内容

 

vim /etc/keepalived/keepalived.conf                   //编辑配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf获取

 

 

vim /usr/local/sbin/check_ng.sh    //编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh获取

 

 

 

chmod 755 /usr/local/sbin/check_ng.sh      //更改脚本权限

 

systemctl start keepalived                      //启动服务

 

ps aux |grep keepalived                     //检查服务是否正常启动

 

 

master上查看访问主页的虚拟主机路径

 

使用web直接访问

 

 

backup上修改默认页

 

使用web直接访问

 

 

 

使用web直接访问vip，访问到的是master

 

 

测试高可用

先确定好两台机器上nginx差异，比如可以通过curl -I 来查看nginx版本

systemctl stop keepalived              //关闭master上的keepalived服务

 

 

backup上查看ip

 

使用web访问vip，说明vip已经切换到从机器上

 

master上重新启动keepalived访问，vip重新被加载

 

 

重新使用web访问，重新访问到master机器上

 

 

 

四、负载均衡集群介绍

• 主流开源软件LVS、keepalived、haproxy、nginx等

• 其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用

• keepalived的负载均衡功能其实就是lvs

• lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL的，而nginx仅仅支持http，https，mail，haproxy也支持MySQL这种

• 相比较来说，LVS这种4层的更稳定，能承受更多的请求，而nginx这种7层的更加灵活，能实现更多的个性化需求

 

 

 

 

五、LVS介绍

• LVS是由国人章文嵩开发

• 流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高

• LVS最新版本基于Linux内核2.6，有好多年不更新了

• LVS有三种常见的模式：NAT、DR、IP Tunnel

• LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

 

1、LVS NAT模式

•这种模式借助iptables的nat表来实现

• 用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去

• rs需要设定网关为分发器的内网ip

• 用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈

• 在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

 

2、LVS IP Tunnel模式

• 这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip

• 客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上

• rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

 

3、LVS DR模式

• 这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip

• 和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址

• rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

 

六、LVS调度算法

• 轮询 Round-Robin  rr

• 加权轮询 Weight Round-Robin wrr

• 最小连接 Least-Connection lc

• 加权最小连接 Weight Least-Connection wlc

• 基于局部性的最小连接 Locality-Based Least Connections lblc

• 带复制的基于局部性最小连接 Locality-Based Least Connections with Replication  lblcr

• 目标地址散列调度 Destination Hashing dh

• 源地址散列调度 Source Hashing  sh

 

 

 

七、 LVS NAT模式搭建

准备工作

• 三台机器

• 分发器，也叫调度器（简写为dir）

• 内网：0.236，外网：16.129（vmware仅主机模式）

• rs1

• 内网：0.182，设置网关为0.236

• rs2

• 内网：0.140，设置网关为0.236

 

• 三台机器上都执行执行

• systemctl stop firewalld; systemctl disable firewalld

• yum install -y iptables-services     (注：必须在更改网关之前执行下载)

• systemctl start  iptables.service; iptables -F; service iptables save

 

 

 

准备工作完毕后，在dir上安装ipvsadm

• yum install -y ipvsadm

 

 

在dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh//内容如下

 

#! /bin/bash

# director 服务器上开启路由转发功能

echo 1 > /proc/sys/net/ipv4/ip_forward

# 关闭icmp的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 注意区分网卡名字，本机的两个网卡分别为ens33和ens37

echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects

# director 设置nat防火墙

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.0.0/24  -j MASQUERADE

# director设置ipvsadm

IPVSADM='/usr/sbin/ipvsadm'

$IPVSADM -C

$IPVSADM -A -t 192.168.16.129:80 -s wlc -p 3

$IPVSADM -a -t 192.168.16.129:80 -r 192.168.0.182:80 -m -w 1

$IPVSADM -a -t 192.168.16.129:80 -r 192.168.0.140:80 -m -w 1

 

 

 

sh /usr/local/sbin/lvs_nat.sh              //执行脚本

 

 

ipvsadm -ln             //查看规则

 

 

vim /usr/share/nginx/html/index.html            //编辑rs1主页信息，方便区分

 

 

 

rs2上执行

yum install -y nginx          //安装nginx (注：必须在更改网关之前执行下载)

vim /usr/share/nginx/html/index.html               //编辑rs2主页信息

 

 

 

 

修改dir上脚本，vim /usr/local/sbin/lvs_nat.sh//内容如下

 

 

sh /usr/local/sbin/lvs_nat.sh              //重新执行脚本

 

curl 192.168.16.129              //在dir访问vip

转载于:https://my.oschina.net/u/3991860/blog/2996300