lamp架构(17)-CDN内容分发网络、varnish配置

最新推荐文章于 2025-05-31 16:50:09 发布
最新推荐文章于 2025-05-31 16:50:09 发布
阅读量173 收藏
点赞数
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_55444160/article/details/118712102
版权
本文详细介绍CDN内容分发网络的搭建过程，包括Varnish的安装与配置、实现负载均衡及健康检测的方法，同时讲解如何确保原站能够获取客户端原始IP。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. CDN内容分发网络

两大功能： 1、缓解后端原始服务器的压力 2、提速 整体框图：

在这里插入图片描述

1.相关组件安装

Varnish是一款高性能的开源HTTP加速器

选择在server4上配置vanish：

[root@server4 ~]# ls
varnish  (官网下载）
[root@server4 ~]# cd varnish/
[root@server4 varnish]# ls
bansys.zip                             varnish-4.0.5-1.el7.x86_64.rpm
jemalloc-3.6.0-1.el7.x86_64.rpm        varnish-6.4.0-1.el7.x86_64.rpm
jemalloc-devel-3.6.0-1.el7.x86_64.rpm  varnish-libs-3.0.4-1.el6.x86_64.rpm
rhel6 varnish.pdf                      varnish-libs-3.0.5-1.el6.x86_64.rpm
varnish-3.0.4-1.el6.x86_64.rpm         varnish-libs-4.0.5-1.el7.x86_64.rpm
varnish-3.0.5-1.el6.x86_64.rpm         Varnish权威指南-中文版.pdf
[root@server4 varnish]# yum install -y varnish-libs-4.0.5-1.el7.x86_64.rpm varnish-4.0.5-1.el7.x86_64.rpm jemalloc-3.6.0-1.el7.x86_64.rpm jemalloc-devel-3.6.0-1.el7.x86_64.rpm

在这里插入图片描述在这里插入图片描述

2.相关部署

2.1.添加默认后端服务器

指定server5（安装http）为服务端

[root@server4 varnish]#  vim /etc/varnish/defaul.vcl
 16 backend default {
 17     .host = "172.25.6.5";
 18     .port = "80";
 19 }

在这里插入图片描述

指定varnish服务的开启端口80

指定varnish服务的开启端口80
 [root@server4 varnish]# vim   /etc/varnish/varnish.params
   14 VARNISH_LISTEN_PORT=80
[root@server4 varnish]# systemctl start varnish 开启varnish服务

在这里插入图片描述此时使用curl 172.25.6.4可以看到http的测试页面，实际上访问的是server5的http:

[root@server4 varnish]# curl 172.25.6.4 -I #测试

在这里插入图片描述

2.2.为响应添加X-Cache首部，显示缓存是否命中

[root@server4 varnish]# vim /etc/varnish/defaul.vcl
 57 if (obj.hits > 0) {
 58         set resp.http.X-Cache = "HIT from westos cache";
 59         }
 60         else {
 61         set resp.http.X-Cache = "MISS from westos cache";
 62         }
 63         return (deliver);
 64 }

在这里插入图片描述

此时使用curl 172.25.6.4可以看到首次访问显示未击中缓存，再次访问显示击中缓存

2.3添加后端

2.3.1 apache模式

在server4中varnis修改配置文件，添加新后端:ip=172.25.6.6

[root@server4 varnish]# vim /etc/varnish/defaul.vcl
 32 elseif (req.http.host ~ "^ ") {
 33                       set req.backend_hint = web2; #如果访问的域名是bbs.westos.org则分发到server6上
 34                       return(pass);
 35      }
 36 else {
 37                       return(synth(404,"Not in cache")); 
#访问其它域名则报404错误
​          }
[root@server4 varnish]# systemctl reload varnish.service

在这里插入图片描述在这里插入图片描述在测试端：foundation6添加解析，并在server5，server6添加发布页

[root@server4 ～]# vim /etc/hosts
172.25.6.4 server4 bbs.westos.org www.westos.org 
[root@server5 ～]# vim /var/www/html/index.html
内容： www.westos.org
[root@server6 ～]# vim /var/www/html/index.html
内容： bbs.westos.org

分别访问bbs.westos.org ，www.westos.org ，curl 172.25.6.4在foundation6测试
在这里插入图片描述

2.3.2.在server7上源码编译nginx，以实现负载均衡
2.3.2.1下载安装相应组件
[root@server7 ~]# tar zxf  nginx-1.20.1.tar.gz（官网下载）

[root@server7 ~]# ls
lamp  nginx-1.20.1  nginx-1.20.1.tar.gz
[root@server7 ~]# cd nginx-1.20.1
[root@server7 nginx-1.20.1]# ls  #源码安装时解压目录中的初始文件
auto  CHANGES  CHANGES.ru  conf  configure  contrib  html  LICENSE  Makefile  man  objs  README

在这里插入图片描述

2.3.2.2.nginx的源码编译与安装
[root@server7 nginx-1.20.1]#  vim auto/cc/gcc   #注释掉debug选项，可以使安装最小化

在这里插入图片描述

[root@server7 nginx-1.20.1]# ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module src   #编译指令，编译参数可自由选择 

[root@server7 nginx-1.20.1]# yum install gcc -y                ##编译需要c语言包
[root@server7 nginx-1.20.1]# yum install pcre-devel -y     ##http重写功能需要的包
[root@server7 nginx-1.20.1]# yum install -y openssl-devel   ##ssl功能需要的包

在这里插入图片描述

[root@server7 nginx-1.20.1]#  make && make install      ##安装

在这里插入图片描述在这里插入图片描述

2.3.2.3添加环境变量并开启服务
[root@server7 sbin]# pwd
/usr/local/nginx/sbin
[root@server1 ~]# vim .bash_profile      ##注意路径（/root/下）
内容:PATH=$PATH:$HOME/bin:/usr/local/nginx/sbin
[root@server1 ~]# source .bash_profile   ##使上述更改生效
[root@server7 ~]# echo $PATH             ##测试
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin:/usr/local/nginx/sbin

在这里插入图片描述

[root@server7 ~]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@server7 ~]# nginx 
[root@server7 ~]# netstat -antlp        ##测试
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd           
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      9831/nginx: master

在这里插入图片描述

2.3.2.4配置调度服务器，添加虚拟主机
[root@server7 nginx]# cd conf/
[root@server7 conf]# ls
fastcgi.conf            koi-utf             nginx.conf           uwsgi_params
fastcgi.conf.default    koi-win             nginx.conf.default   uwsgi_params.default
fastcgi_params          mime.types          scgi_params          win-utf
fastcgi_params.default  mime.types.default  scgi_params.default
[root@server7 conf]# vim nginx.conf
 17 http {
 18       upstream westos{
 19       server 172.25.6.5:80;
 20       server 172.25.6.6:80;
 21       }
 22     include       mime.types;
 23     default_type  application/octet-stream;

120 server {
121         listen  80;
122         server_name www.westos.org;
123 
124         location / {
125                 proxy_pass http://westos;
126         }
127 }
[root@server7 conf]# nginx -s reload

在这里插入图片描述
在这里插入图片描述

2.3.3. server4 分发后端主机，实现负载均衡

此时server5和server6都有www.westos.org这个域名对应的虚拟主机，我们可以在server1 varnish配置文件中设置负载均衡

 [root@server4 varnish]# vim default.vcl
sub vcl_init {
        new web_cluster = directors.round_robin();
        web_cluster.add_backend(web3);
        web_cluster.add_backend(web1);
}
if (req.http.host ~ "^(www.)?westos.org") {
                set req.http.host = "www.westos.org";
                set req.backend_hint = web_cluster.backend();
                return(pass);         不从缓存中找，直接去后端查询，刚开始访问有缓存，无法负载均衡，设置完这个参数之后就可以负载均
 [root@server4 varnish]# systemctl reload varnish

修改server5和server6的http默认发布页面，以实现区分效果

[root@server5 ～]# vim /var/www/html/index.html
内容： www.westos.org-server5
[root@server6 ～]# vim /var/www/html/index.html
内容： www.westos.org-server6

在foundation6直接访问www.westos.org，查看效果

[root@foundation6 ~]# curl www.westos.org
www.westos.org-server5
[root@foundation6 ~]# curl www.westos.org
www.westos.org-server6

在这里插入图片描述

2.3.4健康检测

当后端（nginx，apache）出现问题时，为了不让用户访问报错，我们需要做后端的健康检查

[root@server1 varnish]# vim default.vcl 
probe backend_healthcheck {
    .url = "/index.html";
    .window = 3;
    .threshold = 2;
    .interval = 3s;  ##每隔三秒执行一次健康检测
}
[root@server1 varnish]# systemctl reload varnish.service

3.原站获取客户端原始ip

在生产环境中有时候会有这样的需求：原站可能需要根据访问量等信息做业务分析，这时候就需要获取到客户端原始的ip，但是正常情况下客户访问到原站会经过两次反向代理->cdn 和proxy，这时候如果不做某些设置，则原站获取到的都是cdn的ip,无法满足业务需求

nginx代理配置修改server7上nginx的配置文件

[root@server7 nginx]# ls
client_body_temp  conf  fastcgi_temp  html  logs  proxy_temp  sbin  scgi_temp  uwsgi_temp
[root@server7 nginx]#   vim  conf/nginx.conf
 17 http {
 18       upstream westos{
 19     # server 172.25.6.5:80;   ##的注释掉调度器的server5
 20       server 172.25.6.6:80;
 21       }
 server {
121         listen  80;
122         server_name www.westos.org;
123 
124         location / {
125                 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
126                 proxy_pass http://westos;
127         }
128 }
129  }
[root@server7 nginx]# nginx -s reload

nginx服务器配置修改server6上nginx的配置文件（关闭httpd，并参照server7进行nginx的源码编译）


[root@server6 nginx]# ls
client_body_temp  conf  fastcgi_temp  html  logs  proxy_temp  sbin  scgi_temp  uwsgi_temp
[root@server6 nginx]# vim  conf/nginx.conf	
 43         location / {
 44             root   html;
 45             index  index.html index.htm;
 46             real_ip_header    X-Forwarded-For; ##是指从接收到报文的哪个http首部去获取前代理传送的用户ip
 47          #   real_ip_recursive on;              ##是否递归地排除直至得到用户ip（默认为off）
 48             set_real_ip_from 172.25.6.7;
 49         }
[root@server6 nginx]# nginx -s reload

此时在foundation6上访问curl www.westos.org.会出现原始nginx测试页面，可以查看server6的nginx日志以发现原始的客户端ip=172.25.6.250

在这里插入图片描述
在这里插入图片描述

赛罗x
关注
内容分发网络--cdn
baidu_40389082的博客
04-26 835
学习轨迹： 总览互联网（假如我访问腾讯，我的数据怎么到达腾讯服务器，又是获取服务器的数据） client–>cdn–>classter–>HA+F5/lvs(4)–cluster(集群)–>haproxy(7)/nginx -->web(apache/nginx)–>app(php/jsp)–>DB(mysql/redis)–>zabbix监控–&g...
Centos6.5安装Varnish编译软件
灵魂自由的忙人
03-23 816
安装目前varnish官网目前最新版本Varnish Cache 6.0.0，我选择安装Varnish Cache 5.2.1，需要依赖python-docutils，安装提示需要python最低版本python2.7，目前centos7的python版本才是python2.7，避免新安装的python影响系统目前python2;.6版本的运行，所以选择安装varnish-5.0.0.tgz，va...
组件的内容分发
weixin_30500473的博客
12-04 141
组件标签的内容取出来使用: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="js/vue.js"></script> </he...
vue: solt内容分发 动态组件
u012872771的博客
09-04 218
solt内容分发 父组件如何传多个元素给子组件? 直接在父组件中定义的标签中嵌套要传过去的元素，在子元素中使用solt存放即可。 style样式在父组件或子组件中使用均可, 在父组件中要传过去的元素中可以使用html模板功能，入{{ }}、v-for等 ...
内容分发网络原理
JPshangdexiaofeixia的博客
08-01 1261
用户访问未使用CDN缓存王赞的过程为： 用户向浏览器提供要访问的域名：浏览器调用域名解析函数库对域名进行解析，以得到此域名对应的IP地址；浏览器使用所得到的IP地址，域名的服务主机发出数据请求；浏览器根据域名主机返回的数据显示网页的内容。通过这几个步骤，浏览器完成从用户处接收用户要访问的域名到从域名从服务主机处获取数据的过程。CDN内容分发网络是在用户和服务器之间增加cache层，将用户的请求引...
varnish 安装部署
weixin_34247299的博客
03-21 133
安装前准备Varnish 安装需要pcre ，安装pcre 最好下载源码包进行安装，本次安装部署采用的版本是8.31 。下载完成的源码包文件为 ：pcre-8.31.tarvarnish 由于开源软件最新版往往稳定性有待检查，所以本次安装部署并非最新版，而是采用稳定版本的 3.0.0 。下载完成的源码包文件为 ：varnish-3.0.0.tar 。源码编译安装以root 用...
varnish 编译安装
足球带我奔跑
02-26 334
varnish 3.0.7, 4.1.9编译安装依赖包yum install pcre-devel.x86_64 python-docutils libedit-dev*  ./configure --prefix=/usr/local/varnish3
linux系列之-CentOS6.6 安装Varnish5.1.1
weinichendian的博客
03-30 3118
源码安装： 演示环境：centos6.6 1.需要自带gcc，系统自带的，没有的话，需要先安装。 2.需要pcre，这个前面安装Nginx已经安装了。 3.需要libedit-dev，安装命令： yum install libedit-dev* 4.去https://www.varnish-cache.rog/下载，然后进行解压安装 （1）先解压安装包源码，然后进入到这个包里面 ...
CDN 【内容分发网络】之深入理解
开发猫
11-12 7589
CDN 全称:Content Delivery Network或Content Ddistribute Network，即内容分发网络   基本思路： 尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距...
内容分发网络的工作原理
weixin_43530873的博客
04-28 1329
MicroMarketMonitor最近的报告中，有人指出，北美内容分发网络市场预计将从2013年的19.5亿美元增长到2019年的78.3亿美元。推动这一增长的一个重要因素是最终用户与在线内容的互动。 与几年前相比，用户和在线内容之间的互动要复杂得多。今天的用户更有可能在家中工作时从手机传输更长的视频或访问SaaS门户。这些是远在五年前不存在的复杂经验。鉴于未来几年CDN市场的预期增长，这篇文章...
varnish 3.0.3 编译安装宝典
彷徨的梦想
05-19 1161
#报错解决办法 http://www.cnblogs.com/vastiny/p/3675436.html #安装varnish 3.0.3 地址 http://www.zrwm.com/?p=4369 #中途遇到错误  解决办法文章 http://www.361way.com/varnish-install/2333.html #安装varnish 4
CDN（内容分发网络）技术简介
防沉迷的博客
08-10 1241
个人总结：CDN是一个包括了分布式存储、负载均衡、网络请求的重定向和内容管理4个组件的整体系统 下面描述来自网络：https://www.idcjia.net/a18264411.html 内容分发网络（Content delivery network或Content distribution network，缩写：CDN）是指一种通过互联网互相连接的电脑网络系统，利用最靠近每位用户的服务器，...
Varnish 编译安装所需准备
chmo2011
12-06 1105
Varnish 编译安装所需准备 一、Varnish 安装          ●安装varnish 它是一个开源软件，你可以选择安全二进制包，或者从源码定制编译安装。安装二进制包还是源码包是个人习惯。如果您不知道选择哪种方式，请阅读整个文档，然后选择一种您喜欢的方式。   通过源码包还是通过二进制包安装？   在相关系统上，可以使用系统自带的包管理器来安装，常见的用例：   Fr
编译安装linux所需,Varnish 编译安装所需准备
weixin_34521244的博客
05-08 129
如果您是RedHat/CentOS系统想安装varnish，您需要安装以下软件包：○automake○autoconf○libtool○ncurses-devel○libxslt○groff○pcre-devel○pkgconfig以下是在配置好yum包管理器的情况下运行yum install automake autoconf libtool ncurses-devellibxslt groff...
CentOS 6.x 编译安装varnish 3.x
yuhui2f的专栏
08-21 904
varnish源码路径：/usr/local/src varnish安装路径：/usr/local/varnish varnish配置文件路径：/usr/local/varnish/conf/httpd.conf 2.软件下载地址 https://www.varnish-cache.org/ 3.下载源代码包 # cd /usr/local/src/ # wget http://
在 Linux 中，目录权限，mkdir -m 选项，用法
jie18894575860的博客
05-28 448
在 Linux 中，mkdir -m 选项用于在创建目录时直接指定权限模式（无需依赖默认的 umask）。默认权限：若省略 -m，目录权限由 umask 决定（通常 777 -umask）。执行权限（x）：目录需要执行权限才能进入（cd）或访问其内容。安全建议：避免随意使用 777，可能引发安全风险。第三位：其他用户（Others）权限。第一位：所有者（Owner）权限。第二位：所属组（Group）权限。八进制 符号表示 权限说明。使用 u（所有者）、
Rock9.x（Linux）安装Redis7
最新发布
{竹子}
05-31 390
设置后台运行：将daemonize no改为daemonize yes。gcc 是C语言编译器，Redis是用C语言开发的，我们需要编译它。如果没有安装gcc，那么我们手动安装。在解压目录运行命令，必须写sudo。创建存放配置文件的文件夹。解压，进入解压文件夹。
Linux | Shell脚本的基础知识
2302_81507127的博客
05-29 781
执行一条命令完毕后，系统会给出一个退出值，若成功则为0，出现错误则1~255退出状态码是一个整数，其有效范围为0~255行为良好的UNIX命令，程序和工具都会返回0作为退出码来表示成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值