CDN简谈及实现原理分析

三种CDN调度系统实现原理详解 三种CDN调度系统实现原理详解 1. 调度系统是什么? 调度系统是指CDN厂家有能力通过各种机制将客户域名的所有现网请求引导到合适的目标机房,从而实现流量控制、质量控制、成本控制以及故障处理。 2. 接入CDN的方式 在讲解调度原理之前,我们先来看看客户是怎么接入CDN的,或者说客户的流量是如何切往CDN的。(假设客户的域名为:www.test.com,大概有以下几种方式:) 【1】CNAME方式 CNAME方式是最常见的接入方式,即CDN厂家向客户提供一个调度域名,客户将自己业务域名的CNAME指 阅读详情

很多人可能不了解cdn,认为自己没用过cdn,其实不然,我们已经在用了。先举个栗子,大家有没有想过为什么双十一的时候这么多人抢购,流量超级大,为什么很少出现网页加载不出来,也没见过淘宝服务器奔溃呢?

13908708-e72212f9022a2d56.png
举个栗子

正常情况下肯定会奔溃的,你想想,上亿人同时向一台服务器发起请求,服务器还不得冒烟啊?

实际上cdn就在里面发挥着功不可没的功劳。抛开技术方面的优化,假设淘宝只有一台服务器A在运行,从原则上来说我们是应该从这台A服务器下载资源的(html、js、css等),可是淘宝会把这些静态资源分发到全国各个地方的网络节点上(可以理解成每一个城市部署一个机房),我们访问的时候实际是从离我们最近的那台服务器B下载的资源,这就是cdn。

1、什么是cdn

cdn顾名思义是一个英文缩写,全称是content delivery network(内容分发网络),即服务商通过在世界各地部署大量服务器节点,缓存源站静态资源(目标服务器),当用户访问时返回最优线路的资源,提高网页响应速度,给用户带来更好的体验。

eg:阿里云服务商在全国部署了大量的服务器,某公司觉得自己的服务器带宽不够大,希望在阿里云的这些服务器上分担压力,所以阿里云服务商会从该公司的网站中拉取静态资源(源站资源),然后在自己的各个服务器上添加该资源的缓存,最后返回一个url地址给该公司,该公司只需要把之前的资源地址(js、css、html、img等)替换成这个url就可以了;当用户访问时,实际上走的请求是阿里云的服务器,然后阿里云返回一个最快的资源给你(如你在广州就返回广州服务器的资源,而不是北京服务器的资源)

cdn的核心技术在于智能dns与内容存储,用户访问时根据所在线路与位置,就近选择最快的服务器节点,然后从缓存中取出相应内容,避免了直接从源站拉取资源、减低了网络阻塞。

下面我们先说一下cdn的三大组成部分

1.1、squid 代理web缓存服务器

前面我们也说到,服务商会返回一个url给源站,如https://aliyun.cdn.com/xxx/main.js,那么我们就不难想到它其实就是一个web服务器提供(像我们的iis、tomcat、nginx等),cdn下使用的web服务器大多是squid,下面说一下squid以及nginx在linux下的安装:

1、yum  install  squid   -g //安装squid

2、vim /etc/squid/squid.conf //配置端口代理


1、yum  install  nginx  -g  //安装nginx

2、vim /etc/nginx/nginx.conf  //配置端口代理

所以squid就是一个web代理服务器,只不过它在缓存服务方面比较出色。

1.2、计算机集群

从执行性能上来说,个人PC  <  服务器  <  计算机集群,那么什么是计算机集群呢?其实从定义上来说,计算机集群是通过松散集成的计算机软件或硬件连接起来的完成计算工作的计算机系统,通俗来理解就是把很多服务器组合起来,共同完成某一项任务,这样工作效率自然会大于一台电脑。

作为cdn服务的提供商(服务商),他们会在各个城市部署很多的服务器,从而组成一张庞大的计算机集群网,使得各个地方的用户附近都至少有一台可访问的服务器。

1.3、智能dns

说到智能dns,那么我得说一下“不智能的”dns。dns,全称domain name system,域名系统,万维网上的每一个设备(pc、手机等)都有一个属于自己的ip地址,也可以当做设备的身份证,然而这个ip地址太过长了,不便于记忆,所以就用域名来作为ip的别名,如百度的域名是baidu.com,当用户输入百度域名并回车后,通过dns系统获取到真实ip地址14.215.177.39。

dns解析流程:浏览器host   》   系统host   》   运营商解析   》   根域解析

我们普通的dns往往慢就慢在跨线路和跨国际,能不能根据用户所在地址,返回合适的ip地址呢,这就产生了智能dns。

智能dns位于cdn服务器层,它根据用户来源的线路以及所在的位置,根据当前网络负载情况,选取出距离最近的同线路服务器,并放回该服务器的ip地址(cdn计算器集群的每一台服务器都具备相同的功能与内容,因而返回不同的ip,处理的结果都是一样的)。

2、cdn产生背景

对于大部分的中小型企业,服务器性能不会很好,带宽也不会很大,一旦遇到访问量“井喷”的情况就会奔溃了,比如双十一、12306春运期间甚至是一些学校的选课系统,那么解决措施往往就是出钱出力升级配置了。

其次由于我国国土辽阔,存在着不少的网络运营商,如巨头电信联通,这也就导致了不同运营商(线路间)互联不互通,如广州电信用户访问北京联通机房的服务器速度慢。

这时候cdn就应运而生了,它依靠着强大的服务器集群能力为各网站提供缓存加速服务。

13908708-0b56a3cb5d54805a.png
3、cdn加速原理

cdn之所以快靠的是多节点、多线路、用缓存;

多节点,也就是多服务器,这样让用户没必要直接向源站请求资源,而是向最近的服务器请求就行了;

多线路,避免了跨线路互联不互通的尴尬;

用缓存,这个前面没有怎么提,cdn服务器会从源站拉取资源并缓存到内存中,当用户访问的时候直接从内存中取出来,这样就比从硬盘中去出来快了不少;其次cdn服务器知道源站资源发生变化后,会通知其它服务器同时更新资源。

4、cdn的优势

智能dns让用户可以访问同线路最近的服务器

cdn的缓存机制可以加快访问速度,也可以缓解源站服务器压力(因为根本不会去访问源站)

cdn让大规模的用户请求架构变得简单

cdn性价比高,同带宽需求下cdn服务比增加带宽划算

5、cdn适用范围

静态和更新频率低的内容

数据流量大的产品

带宽需求大的产品

有钱的主...


其实cdn服务商有不少,如阿里云cdn、腾讯云cdn、百度云cdn、网易云cdn、360cdn等等

CDN工作机制及工作原理 物理层、CDN解决网络拥塞、最后一公里问题 阅读详情

相关推荐

NC65实现Restful接口开发及调试

NC65实现Restful接口开发及调试

linzhongshu的专栏 2148

如何理解CDN,关于CDN原理的自我理解和实现原理

一,CDN的啥? CDN (全称 Content Delivery Network),即内容分发网络 构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。CDN 的关键技术主要有内容存储和分发技术 简单来讲,CDN就是根据用户位置分配最近的资源 于是,用户在上网的时候不用直接访问源站,而是访问离他“最近的”一个 CDN 节点(边缘节点),其实就是缓存了源站内容的代理服务

NolanKy 的 技术博客 588

Switch游戏安装新思路:抛弃Commander One,试试这款免费的Mac神器OpenMTP

本文介绍了Mac用户安装Switch游戏的新选择——免费工具OpenMTP,对比收费软件Commander One,OpenMTP在MTP连接稳定性和文件管理上更具优势。详细解析了OpenMTP的安装配置、核心功能及实战操作,帮助用户高效完成游戏安装,特别适合已破解并安装DBI的Switch用户。

weixin_30664051的博客 594

全局负载均衡与CDN内容分发

CDN简介CDN的全称是Content Delivery Network,即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、...

qianshanding0708的博客 798

WRF后处理避坑指南:从namelist配置到降水计算的全流程解析

本文提供了一份详尽的WRF模式后处理避坑指南,涵盖从理解wrfout文件结构、核心变量解析到累计降水计算与专业气象图绘制的全流程。重点解析了RAINC与RAINNC的正确处理方法,并分享了使用wrf-python库高效绘制位势高度叠加风场图、累计降水图等专业图表的实战技巧与代码,旨在帮助用户规避常见错误,提升后处理效率与图表质量。

weixin_29200485的博客 364

YOLO26训练教程,训练自己的数据集教学,从源码下载,配置虚拟环境,准备数据集、训练、验证、推理测试 。实现0到1的完整教学过程。快速入门必看

本文详细介绍了YOLO26目标检测模型的配置与使用流程:1)下载YOLOv11源码并创建Python3.10虚拟环境;2)安装PyTorch2.5.1及相关依赖库;3)准备数据集并修改配置文件;4)编写训练脚本设置参数(640x640分辨率、500轮次);5)验证模型效果;6)使用训练好的模型进行推理测试;7)生成可视化热力图。整个过程涵盖了从环境搭建到模型应用的全流程,并提供了清华镜像源加速下载。

Ai缝合怪、助力小伙伴高效发论文 5310

CDN的实现原理

在描述CDN的实现原理,让我们先看传统的未加缓存服务的访问过程,以便了解CDN缓存访问方式与未加缓存访问方式的差别: 用户提交域名→浏览器对域名进行解释→得到目的主机的IP地址→根据IP地址访问发出请求→得到请求数据并回复 由上可见,用户访问未使用CDN缓存网站的过程为: 1)、用户向浏览器提供要访问的域名; 2)、浏览器调用域名解析函数库对域名进行解析,以得到此域名对应的IP地址; 3...

weixin_34218890的博客 362

泛微OA自定义post接口和路径(无侵入)

泛微OA自定义post接口和路径(无侵入)

技术分享 3878

CDN技术原理

要了解CDN的实现原理,首先让我们来回顾一下网站传统的访问过程,以便理解其与CDN访问方式之间的差别: 由上图可见,传统的网站访问过程为: 1. 用户在浏览器中输入要访问的域名; 2. 浏览器向域名解析服务器发出解析请求,获得此域名对应的IP地址; 3. 浏览器利用所得到的IP地址,向该IP对应的服务器发出访问请求; 4. 服务器对此响应,将数

u011761393的博客 454

快速卷积结构FIR数字滤波器的设计与ARM平台实现

本文提出了一种基于快速卷积结构的FIR数字滤波器设计与实现方案。通过Matlab设计了满足特定指标的低通FIR滤波器,采用重叠-保存法和重叠-相加法两种快速卷积算法,将计算复杂度从O(N·M)降低到O(NlogN)。详细介绍了滤波器系数生成、性能验证流程,并提供了ARM平台C语言实现的关键技术,包括定点量化处理。实验结果表明,该方法能有效滤除混合信号中的高频干扰,保留目标1kHz正弦信号,验证了设计方案的有效性。

huanghm88的专栏 126

PhotovoltaicPanelCleanlinessDetector:基于YOLOv8的光伏板清洁状态监测系统

data.yamlyaml复制编辑names:0: clean1: dust3: leaves4: shadow✅ 高精度污染识别✅ 具备实时检测与UI展示✅ 可本地化部署应用未来方向增加污染程度分级(轻度、中度、严重)加入时间序列分析(污染变化趋势预测)无人机集成巡检模块。

YOLO 276

CDN是通过什么原理才实现加速的?

相信做网站的人都知道一件事,那就是CDN对于网站加速的重要性。那么CDN又是通过什么原理来帮助网站实现加速的呢? CDN(内容分发网络),它通过避开互联网上有可能影响传输速度与稳定性的缓解,使传输更快更稳定。 简单来说,就是将静态资源缓存到离用户...

chuwo0959的博客 400

【图像处理】德里奇( Deriche)边缘检测器

Deriche边缘检测,同canny算法齐名,因此,知道canny原理,也有必要知道德里奇的检测原理。本篇专门针对德里奇算法展开讨论。

gongdiwudu的专栏 8685

CDN技术详解及实现原理

    CDN技术详解 一本好的入门书是带你进入陌生领域的明灯,《CDN技术详解》绝对是带你进入CDN行业的那盏最亮的明灯。因此,虽然只是纯粹的重点抄录,我也要把《CDN技术详解》的精华放上网。公

wangchaoqi1985的博客 1万+

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

【CDN】CDN 原理和使用

一、CDN 是什么 1.1 概念 CDN(content delivery network)即内容分发网络,通过在各个地方部署 CDN 镜像服务器,并复制源服务器的应用内容,让用户可以从最合适的镜像服务器中获取资源内容。 最合适的镜像服务器包括: 访问本地区的服务器并获取所需内容 根据宽带类型使用部署对应类型宽带的服务器(如移动、联通、铁通等) 如下图中的表示 CDN 镜像服务器,则用户可以访问最近的镜像服务器,快速地获取资源内容。 二、CDN 由来 初始阶段: 1台服务器,面向所...

qq_34416331的博客 5456

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

CDN架构以及原理分析

详见: http://blog.yemou.net/article/query/info/tytfjhfascvhzxcytp61  在不同地域的用户访问网站的响应速度存在差异,为了提高用户访问的响应速度、优化现有Internet中信息的流动,需要在用户和服务器间加入中间层CDN. 使用户能以最快的速度,从最接近用户的地方获得所需的信息,彻底解决网络拥塞,提高响应速度,是目前大型网站使用的流行的

yemou_blog的博客 1万+

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

CDN网络加速的原理及实例

本文转自https://blog.youkuaiyun.com/luoweifu/article/details/51031099 在不同地域的用户访问网站的响应速度存在差异,为了提高用户访问的响应速度、优化现有Internet中信息的流动,需要在用户和服务器间加入中间层CDN. 使用户能以最快的速度,从最接近用户的地方获得所需的信息,彻底解决网络拥塞,提高响应速度,是目前大型网站使用的流行的应用方案. ...

apricotCandy的博客 3313

CDN原理

CDN原理简单介绍 奇哥 从业10年的运维老鸟,擅长搬砖(DevOps) 54 人赞同了该文章 CDN 原理介绍 简介 CDN是将源站内容分发至全国所有的节点,从而缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性的技术。它能够有效解决网络带宽小、用户访问量大、网点分布不均等问题。 CDN 其实是 Content Delivery Network 的缩写,即“内容分发网络” 源站内容(image、html、js、css等) 这个属于内容分发 CDN 诞生于二十多年前..

jj1130050965的博客 1884

什么是CDN?CDN的原理和作用是什么?

CDN全称Content Delivery Network,即内容分发网络。CDN是Content Delivery Network(内容分发网络)的缩写,是一种利用分布式节点技术,在全球部署服务器,即时地将网站、应用、视频、音频等静态或动态资源内容分发到用户所在的最近节点,提高用户访问这些内容的速度和稳定性,降低网络拥塞和延迟,同时也能够减轻源站的负载压力,提升网站或应用的可用性和安全性。

weixin_40381947的博客 1万+

一张图说明CDN网络的原理

1.用户向浏览器输入www.web.com这个域名,浏览器第一次发现本地没有dns缓存,则向网站的DNS服务器请求; 2.网站的DNS域名解析器设置了CNAME,指向了www.web.51cdn.com,请求指向了CDN网络中的智能DNS负载均衡系统; 3.智能DNS负载均衡系统解析域名,把对用户响应速度最快的IP节点返回给用户; 4.用户向该IP节点(CDN服务器)发出请求; 5.由于是

coolme的专栏 9万+

cdn搭建原理_beijingshij:cdn加速原理图解cdn加速原理以及实现

cdn加速原理图解cdn加速原理以及实现伴随着互联网技术的发展趋势,用户在应用互联网时对网址的访问速率和实际效果更加高度重视,但因为用户数量猛增,互联网访问相对路径太长,进而使用户的访问品质遭受比较严重危害。非常是当用户与网址中间的路由协议被突发性的大流量数据信息时延时,针对外地互联网技术用户极速提升的地域而言,访问品质欠佳也是一个急切需要处理的难题。许多 情况下,大伙儿都会谈CDN,那麼什么是C...

weixin_29441555的博客 802

CDN 技术原理图解

以上几乎就是 CDN 的核心技术概览了,剩下的多数是资源规划与预算,运维,运营工具的开发和维护,运营支撑平台的构建,配置管理,监控与告警,计费与客户平台,产品管理与商业化等,这部分工作比技术本身要重要得多,也正是因为这些工作更加重要,才使 CDN 成为劳动密集型产品。我从事多年 CDN 优化工作,但却几乎没写过 CDN 的文章,今天补一篇,本周这篇文章包含两方面内容,mermaid 的学习和 CDN 的科普,本文先侧重静态 CDN,至于动态 CDN,涉及选路,以后有机会再说。先说说 mermaid。

TCP/IP 1万+

CDN原理和使用,调度系统原理和实现

CDN原理和使用,调度系统原理和实现,Nginx负载均衡,反向正向代理,缓存代理;BGP路由协议

panxixia的博客 2359
上一篇: 前端常用的通用方法javascript.common.js
下一篇: linux入门-远程工具的使用
Msgyvcici
博客等级 码龄11年 12粉丝 56原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值