(一)项目介绍
实现基于LVS负载均衡集群的电商网站架构
随着业务的发展,网站的访问量越来越大,网站访问量已经从原来的1000QPS,变为3000QPS,网站已经不堪重负,响应缓慢,面对此场景,单纯靠单台LNMP的架构已经无法承载更多的用户访问,此时需要用负载均衡技术,对网站容量进行扩充,来解决承载的问题。scale out? scale up?
1 技术说明
集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能,可靠性,灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。
集群是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。
集群组成后,可以利用多个计算机和组合进行海量请求处理(负载均衡),从而获得很高的处理效率,也可以用多个计算机做备份(高可用),使得任何一个机器坏了整个系统还是能正常运行。集群在目前互联网公司是必备的技术,极大提高互联网业务的可用性和可缩放性。
2 负载均衡技术
负载均衡(Load Balance)负载均衡集群为企业需求提供了可解决容量问题的有效方案。负载均衡集群使负载可以在计算机集群中尽可能平均地分摊处理。
负载通常包括应用程序处理负载和网络流量负载。这样的系统非常适合向使用同一组应用程序的大量用户提供服务。每个节点都可以承担一定的处理负载,并且可以实现处理负载在节点之间的动态分配,以实现负载均衡。对于网络流量负载,当网络服务程序接受了高入网流量,以致无法迅速处理,这时,网络流量就会发送给在其它节点上运行的网络服务程序。也可根据服务器的承载能力,进行服务请求的分发,从而使用户的请求得到更快速的处理。
3负载均衡集群技术实现
负载均衡(Load Balance)
负载均衡技术类型:基于4层负载均衡技术和基于7层负载均衡技术
负载均衡实现方式:硬件负载均衡设备或者软件负载均衡
硬件负载均衡产品:F5 BIG-IP 、Citrix Netscaler 、深信服 、Array 、Radware
软件负载均衡产品: LVS(Linux Virtual Server)、 Haproxy、Nginx、Ats(apache traffic server)
4 负载均衡技术演示图
4.1 OSI(开放系统互联)7层模型
4.2 TCP/IP四.七层模型
更生动形象详的介绍TCP/IP四.七层模型:
物理层:路基,桥梁
链路层:铁轨,道岔,信号系统
网络层:火车网点,运输中心,调度中心
应用层:物流公司,快递公司,12306
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~`~~~~~~~~~~~~~~~
(二) 负载均衡集群企业级应用实战-LVS
-
LVS软件作用:通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集,它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。
-
LVS的特性
高并发连接性:LVS基于内核网络层面工作,有超强的承载能力和并发处理能力。单台LVS负载均衡器,可支持上万并发连接。
稳定性:是工作在网络层4层之上作分发之用,这个特点也决定了它在负载均衡软件里的性能最强,稳定性最好,对cpu和内存资源占用极低。
成本低廉:硬件负载均衡器少则十几万,多则几十万上百万,LVS只需一台服务器和就能免费部署使用,性价比极高。
配置简单:LVS配置非常简单,仅需几行命令即可完成配置,也可写成脚本进行管理。
支持多种算法:支持多种论调算法,可根据业务场景灵活调配进行使用
支持多种工作模型:可根据业务场景,使用不同的工作模式来解决生产环境请求处理问题。
应用范围广:因为LVS工作在4层,所以它几乎可以对所有应用做负载均衡,包括http、数据库、DNS、ftp服务等等
缺点:工作在4层,不支持7层规则修改,机制过于庞大,不适合小规模应用。
3 .LVS工作流程图
4 LVS核心组件和专业术语
LVS的管理工具和内核模块ipvsadm/ipvs
Ipvsadm:用户空间的命令行工具,用于管理集群服务及集群服务上的RS等。
Ipvs:工作于内核上的netfilter INPUT钩子之上的程序,可根据用户定义的集群实现请求转发;
VS:Virtual Server #虚拟服务
Director, Balancer #负载均衡器、分发器
RS:Real Server #后端请求处理服务器
CIP: Client IP #用户端IP
Director Virtual IP: VIP #负载均衡器虚拟IP
Director IP: DIP #负载均衡器IP
Real Server IP: RIP #后端请求处理服务器IP
5 LVS工作内核模式
1 当客户端的请求到达负载均衡器的内核空间时,首先会到达PREOUTING链。
2当内核发现请求包的目的地市本机时,将数据包发送给INPUT链。
3 LVS由用户空间的ipvsadm和内核空间的ipvs组成,Ipvsadm用来定义规则,ipvs利用ipvsadm定义的规则工作,ipvs工作在input链上,
当数据包到达INPUT链上,首先会被ipvs检查,如果数据包里面的目的地址及端口没有在规则里面,那么这条数据包将被放行至用户空间。
4如果数据包里面的目的地址及端口在规则里面,那么这条数据报文将被修改目的地址为事先定义好的后端服务器,并送往POSTROUTING链。
5最后经由POSTROUTING链发往后端服务器。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
(三) LVS负载均衡四种模型详解及调度算法
1 virtual server via NAT(net adress translation)工作模式
类似于DNAT,但支持多目标转发,通过修改请求报文的目标地址,根据调度算法所挑选出来的某个RS的RIP来进行转发;
架构特性:
-
RS应该使用私有地址,各RS的网关必须指向DIP;
-
请求和响应报文报文都经由director转发,高负载场景中,director可能成为瓶颈。
-
支持端口映射;
-
RS可以使用任意OS;
-