本文详细介绍了LVS（Linux Virtual Server）的工作原理、调度算法和三种主要集群模式：NAT、DR、TUN。通过具体的LVS-DR和LVS-NAT配置案例，展示了如何搭建和测试LVS集群，包括NFS数据共享服务器的配置和Web服务器的设置。文章还提及了构建LVS集群时应注意的事项。
文章目录
1. 概述
LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案。
2. 体系架构
2.1 工作过程
（1）终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器。
（2）终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。
（3）根据LVS工作模式的不同，真是服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式，TUN模式,DR模式。
2.2 体系架构
（1）最前端的负载均衡层（Loader Balancer）
由负载调度器组成，LVS模块就安装在负载调度器上，同时也可能是一个真实的server。
作用：类似于一个路由器，含有完成LVS功能所设定的路由表，通过这些路由表把用户的请求分发给服务器集群层的应用服务器上
类似于一个路由器，含有完成LVS功能所设定的路由表，通过这些路由表把用户的请求分发给服务器集群层的应用服务器上
（2）中间的服务器群组层，用Server Array表示
由一组实际运行应用服务的机器组成，真实服务器可以是WEB服务器、MAIL服务器、FTP服务器、DNS服务器、视频服务器中的一个或者多个，每个Real Server之间通过高速的LAN或分布在各地的WAN相连接。几乎可以是所有的系统平台，Linux、windows、Solaris、AIX、BSD系列都能很好的支持。
（3）最底层的数据共享存储层，用Shared Storage表示
是为所有Real Server提供共享存储空间和内容一致性的存储区域，在物理上，一般有磁盘阵列设备组成，为了提供内容的一致性，一般可以通过网络共享文件系统实现。
在用户看来所有的应用都是透明的，用户只是在使用一个虚拟服务器提供的额高性能服务。
2.3 调度算法
LVS的调度算法决定了如何在集群节点之间分布工作负荷，当director调度器收到来自客户端访问VIP的集群服务的入栈请求时，director调度器必须决定那个集群节点应该处理请求。
（1）算法说明
Director调度器用的调度方法分类：
固定调度算法：rr，wrr，dh，sh…
动态调度算法：wlc，lc，lblc，lblcr
| 算法名称 | 说明 |
|---|---|
| rr | 轮询调度（Round-Robin），将请求一次分配给不同的RS，也就是均摊，适用于处理真是服务器性能相差不大的情况 |
| wrr | 加权轮询调度（Weighted Round-Robin），根据不同RS的权值分配任务，权值较高的RS将优先获取任务，分配的连接数比权值低的RS更多，相同权值的RS获得相同数目的连接数 |
| dh | 目的哈希调度（Destination Hashing），以目的地址为关键词查找一个静态hash表来获得需要的RS |
| sh | 源地址哈希调度（source hashing）以源地址为关键字查找一个静态hash表来获得需要的RS。 |
| wlc | 加权最小连接数调度（weighted leastconnection），会根据连接数和权值的不比值来算，最小比值的真实服务器将会获取下一个链接。 |
| lc | 最小连接数调度（Least-Connection），IPVS表存储了所有的活动的连接。把新的连接请求发送到当前连接数最小的RS。 |
| lblc | 基于地址的最小连接数调度（locality-Based Least-Connection），将来自同一目的地址的请求分配给同一台RS（此服务器当前还未满负荷），若此服务器当前已经满负荷，则之后的链接将分配给当前连接数最小的RS，并下一次优先考虑此台服务器。 |
| lblcr | 基于地址带重复最小连接数调度（Locality-Based Least-Connection with Replication），每个目的地址对应一个RS子集，对于次地址请求，为他分配子集中连接数最小的RS，如果服务器中所有子集均已满负荷，则从集群中选择一个连接数较小的服务器，将他加入到此子集中并分配链接；若一定时间内，违背做任何修改，则子集中负载最大的节点将会从子集中删除。 |
| SED | 最短期望的延迟（shortest expected delay scheduling SED），基于wlc算法。动态的wlc算法：若ABC三台服务器的权重分别为1，2，3，此时的连接数也是1，2，3。那么基于wlc算法的话，此时新来一个链接会随机给ABC服务器其中的一台；而SED则是动态的算出最小的比值，即A:(1+1)/1; B:(1+2)/2; C:(1+3)/3，此时可以算出C服务器的比值最小，将会将新的连接交给服务器C。 |
| NQ | 最小队列调度（Never Queue Scheduling NQ），即按照目前所有服务器的连接数来比较，最小的连接数将会分配下一个链接 |
应用环境选择
一般的网络服务，如http，mail，mysql等常用的LVS调度算法为
基本轮询调度rr
加权最小连接调度wlc
加权轮询调度wrc
基于局部性的最小连接lblc和带复制的给予局部性最小连接lblcr主要适用于web cache和DB cache
源地址散列调度SH和目标地址散列调度DH可以结合使用在防火墙集群中，可以保证整个系统的出入口唯一
（2）工作原理
用户向负载均衡器（Director Server）发送请求时，调度器会将请求发送到内核空间
PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链
INPUT链上的IPVS会将请求与自己定义好的集群服务进行对比，如果用户请求的就是定义的集群服务，那么IPVS就会强行修改数据包里的IP地址及端口，并将新的数据发送POSTROUTING链
POSTROUTING链收到数据包后发现IP地址刚好是自己的后端服务器，通过选路将数据包最终发送给后端服务器
（3）术语介绍
DS: Director Server。指的是前端负载均衡器节点。
RS：Real Server。后端真实的工作服务器。
VIP：向外部直接面向客户端用户请求，作为用户请求的目标的IP地址。
DIP：Director Server IP，主要用于和内部主机通讯的IP地址。面向真实服务器的IP
RIP：Real Server IP，后端服务器的IP地址。
CIP：Client IP，访问客户端的IP地址
3. LVS集群模式
3.1 LVS-NAT
NAT（Network Address Translation）即网络地址转换
作用：通过数据报头的修改，使得位于企业内部私有IP地址可以访问外网，以及外部用户可以访问位于公司内部的私有IP主机
（1）实现原理
通过将请求报文中的目标IP地址与目标端口修改，来实现报文的传送
当用户请求到达Director Server，此时请求的数据报文会先到内核空间PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP
POSTROUTING链通过选路，将数据包发送给Real Server
Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP
Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP
（2）模式特性
RS应该和DIP应该使用私网地址，且RS的网关要指向DIP；
请求和响应报文都要经由director转发；极高负载的场景中，director可能会成为系统瓶颈；
支持端口映射；
RS可以使用任意OS；
RS的RIP和Director的DIP必须在同一IP网络；
缺陷：对Director Server压力会比较大，请求和响应都需经过director server，director往往会成为系统的性能瓶颈
3.2 LVS-DR
（1）实现原理
通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变。
当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP
响应报文最终送达至客户端
（2）模式特性
确保前端路由器将目标IP为VIP的请求报文发往Director：
在前端网关做静态绑定；
在RS上使用arptables；
在RS上修改内核参数以限制arp通告及应答级别；修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。
RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；
RS跟Director要在同一个物理网络；
请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；
缺陷：
RS和DS必须在同一机房中，因为它是由二层进行转发的根据MAC地址来进行匹配。
3.3 LVS-TUN
（1） 实现原理
在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP）
当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。
PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文
最低0.47元/天 解锁文章
扫一扫
208
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
