基于Centos 7 部署Varnish缓存代理服务器

博文大纲：

一、varnish简介
二、Varnish 如何工作
三、部署varnish缓存服务器

一、varnish简介
Varnish是高性能开源的反向代理服务器和HTTP缓存服务器，其功能与Squid服务器相似，都可以用来做HTTP缓存。可以安装 varnish 在任何web前端，同时配置它缓存内容。与传统的 squid 相比，varnish 具有性能更高、速度更快、管理更加方便等诸多优点。有一部分企业已经在生产环境中使用其作为旧版本的 squid的替代方案，以在相同的服务器成本下提供更好的缓存效果，Varnish 更是作为 CDN 缓存服务器的可选服务之一。
1.Varnish的主要特征：

（1）缓存代理位置：可以使用内存也可以使用磁盘；
（2）日志存储：日志存储在内存中；
（3）支持虚拟内存的使用；
（4）有精确的时间管理机制，即缓存的时间属性控制；
（5）状态引擎架构：在不同的引擎上完成对不同的缓存和代理数据进行处理；
（6）缓存管理：以二叉堆管理缓存数据，做到数据的及时清理；

2.Varnish 与 Squid 的对比
varnish与squid相比，都是一个反向代理缓存服务器，并且都是开源的，varnish的稳定性很高，并且访问速度很快，因为Squid是从硬盘读取缓存的数据，而Varnish把数据存放在内存中，直接从读取内存，避免了频繁在内存、磁盘中交换文件，所以Varnish要相对更高效，varnish可以支持更多的并发连接，因为varnish的TCP连接释放要比squid快；varnish也可以通过管理端口，使用正则表达式批量的清除部分缓存，而squid是做不到的；squid 属于是单进程使用单核 CPU，但 Varnish 是通过 fork 形式打开多进程来做处理，所以可以合理的使用所有核来处理相应的请求。

上述说了很多varnish的优点，但是varnish也并非完美，其缺点主要有以下两个：
1、varnish 进程一旦 Crash 或者重启，缓存数据都会从内存中完全释放，此时所有请求都会
发送到后端服务器，在高并发情况下，会给后端服务器造成很大压力；
2、在 varnish 使用中如果单个 url 的请求通过 HA/F5 等负载均衡，则每次请求落在不同的varnish 服务器中，造成请求都会被穿透到后端；而且同样的请求在多台服务器上缓存，也会造成 varnish 的缓存的资源浪费，造成性能下降；
Varnish 劣势的解决方案： ：
针对劣势一：在访问量很大的情况下推荐使用 varnish 的内存缓存方式启动，而且后面需要跟多台 squid/nginx 服务器。主要为了防止前面的 varnish 服 务、服务器被重启的情况下，大量请求穿透 varnish，这样 squid/nginx 可以就担当第二层 CACHE，而且也弥补了varnish 缓存在内存中重启都会释放的问题；
针对劣势二：可以在负载均衡上做 url 哈希，让单个 url 请求固定请求到一台 varnish 服务器上;
二、Varnish 如何工作
Varnish 的master进程负责启动工作，master进程读取配置文件，根据指定的空间大小（例如管理员分配了2G内存）来创建存储空间，创建并管理child进程；
然后child进程来处理后续任务，它会分配一些线程来执行不同的工作，例如：接受http请求、为缓存对象分配存储空间、清除过期缓存对象、释放空间、碎片整理等。

http请求处理过程如下：
1、有一个专门负责接收http请求的线程，一直监听请求端口，当有请求过来时，负责唤起一个工作线程来处理请求，工作线程会分析http请求的uri，知道了这个请求想要什么，就到缓存中查找是否有这个对象，如果有，就把缓存对象直接返回给用户，如果没有，会把请求转给后端服务器处理，并等待结果，工作线程从后端得到结果内容后，先把内容作为一个缓存对象保存到缓存空间（以备下次请求这个对象时快速响应），然后再把内容返回给用户

分配缓存过程如下：

有一个对象需要缓存时，根据这个对象的大小，到空闲缓存区中查找大小最适合的空闲块，找到后就把这个对象放进去，如果这个对象没有填满这个空闲块，就把剩余的空间做为一个新的空闲块，如果空闲缓存区中没地方了，就要先删除一部分缓存来腾出地方，删除是根据最近最少使用原则。

释放缓存过程如下：

有一个线程来负责缓存的释放工作，他定期检查缓存中所有对象的生存周期，如果某个对象在指定的时间段内没有被访问，就把这个对象删除，释放其占用的缓存空间，释放空间后，检查一下临近的内存空间是否是空闲的，如果是，就整合为一个更大的空闲块，实现空间碎片的整理。

Varnish的工作原理
当Varnish服务器收到客户端的请求时，首选检查缓存中是否有数据，如果有，则直接响应客户端；如果没有则向后端服务器请求相应的资源，缓存到Varnish服务器本地，再响应客户端；

根据规则和请求页面的类型选择数据是否需要进行缓存，可以根据请求头中Cache-Contorl判断是否缓存，以及cookis是否有标记，这些功能都可以通过编写配置文件的方式来实现。

Varnish简单架构
Varnish分为management进程和child进程

management进程：对child进程进行管理，同事对VCL配置进行编译，并应用到不同的状态引擎中；
child进程：生成线程池，负责对用户请求进行处理，并通过hash查找返回用户结果；

child进程生成的常见线程有

accept线程：接收新的连接请求并响应；
worker线程：会话，处理请求资源；
expiry线程：清除缓存中过期的内容；

varnish 主要配置部分

后端配置：给Varnish添加反向代理服务器节点，最少配置一个；
ACL配置：给Varnish添加访问控制列表，可以指定这些列表访问或禁止访问；
probes配置