探索CDN之四:回到CDN实验

探索CDN之三:DNS与BIND 探索CDN之三:DNS与BIND本系列文章将从初学者视角,一步一步循序渐进地探索CDN的相关知识。本文为系列第三篇,简单介绍DNS的知识、BIND的概念及简单的BIND实验。主要内容如下:探索CDN之三DNS与BIND 进一步聊聊DNS BIND及其简单实验 参考资料进一步聊聊DNS?在上一篇文章里,曾将DNS看做是一个“电话本”。通过手动修改/etc/hosts的方式来改变域名和IP地址间的映射非 阅读详情

探索CDN之四:回到CDN实验

本系列文章将从初学者视角,一步一步循序渐进地探索CDN的相关知识。本文为系列第四篇,在前面探索的基础上,回到CDN实验,思考如何加入BIND完成实验,并思考如何集群化。主要内容如下:


加入BIND?


在上一次的试验中,使用了最土的办法——修改/etc/hosts来进行DNS解析,那么在上篇文章中对BIND有了初步了解后,将尝试采用BIND完成DNS解析。其中共修改了两次hosts文件,一次是修改用户客户端,使用户访问www.me.com的时候不是访问源服务器(123.206.5*.2*),而是访问作为缓存的Squid服务器(172.16.219.166)。另一次是修改了Squid容器,使它知道orig-www.me.com的IP地址。

由此可知,对于Squid缓存服务器来说,www.me.com可看做是orig-www.me.com的别名Alias(即源服务器),它们的解析地址可以在BIND里配置。另一方面,对于客户端来说,www.me.com可以看做是cdn.me.com的别名Alias(即Squid缓存服务器)。这样就产生了歧义——同样的www.me.com拥有两个不同IP的别名。扩展一下思路,位于不同地域的客户端访问同一个www.me.com时,同样会产生这样的歧义。这就是“智能DNS”要解决的问题——它会根据需求设定一些访问规则,例如对于不同的IP段给予不同的域名解析地址返回,这都可以通过BIND的视图view完成。个人理解,view就像namespace,不同namespace的同名区域可以有不一样的属性(例如IP地址)。BIND要求使用view时,所有的区域必须都放在view里。在修改完BIND之后,还需要将这两台服务器的DNS服务器名称改为BIND容器,这步将通过修改/etc/resolv.conf来完成。下面是实验的过程:

首先,创建view_172.17.0.5,它表示仅允许IP地址为172.17.0.5的客户端访问该view里的区域:


并将默认的5个区域(root、0、127、255、localhost)都迁移至该view里。其中后面四个均可以通过WebMin来完成:

而root区域在WebMin里并没有提供相应的迁移,所以只能通过文件的方式修改:原本这5个区域的记录都位于/etc/bind/named.conf.default-zones里,而迁移到区域后它们就被”剪切“到了/etc/bind/named.conf.local里的view视图里。这里需要手动将root区域的内容”剪切“过去:

接着,创建view_172.17.0.6,同理,它表示仅允许IP地址为172.17.0.6的客户端访问该view里的区域。创建之后,需要创建me.com的区域,方法在上一篇文章里已经讲过,不再赘述,需要注意的地方有两点:1.要选择相应的view,2.在view_172.17.0.5里,www.me.com是cdn.me.com的别名,cdn.me.com的IP地址为172.16.219.170,而在view_172.17.0.6里,www.me.com是orig-www.me.com的别名,orig-www.me.com的IP地址是123.206.5*.2*:


然后修改相应的hosts文件和resolv.conf文件:

    注释hosts文件里关于www.me.com的记录
    注释resolv.conf文件里原有的DNS服务器地址,添加新的DNS服务器地址:nameserver 172.17.0.4

最后在客户端进行测试:

在IP地址为172.17.0.5的机器上运行命令host www.me.com返回如下结果,它表示返回了源服务器地址:

在IP地址为172.17.0.6的机器上运行命令host www.me.com返回如下结果,它表示返回了Squid缓存服务器地址:

在IP地址既非172.17.0.5也非172.17.0.6的机器上运行命令host www.me.com返回如下结果,它表示BIND拒绝了请求:


集群化的Squid?


“集群化?为什么要集群化?难道一台服务器不够用么?”,“对,是不够用,并且。。。。额,它挂了怎么办?”

集群化带来的好处显而易见,集群化除了可以提供一个“可被看做高性能服务器整体”的特征外,还可以解决单点问题,提供高可用,并且具备良好的扩展性。这里不想讨论如何对源服务器进行集群化,那是一项非常耗时且复杂的工作(除了技术层面,还有业务的关系),思考一下如何完成Squid缓存服务器的集群化:假如部署三台Squid,它们同时工作,并且对外仅暴露一个地址。那么这样的架构可以为下图:

其中LB为Load Balancer,可以使用F5、LVS和轻量的Nginx实现。为了简便,本文中采用Nginx实现。

Nginx作为反向代理和负载均衡器需要修改其配置文件/etc/nginx.conf,主要添加如下字段:

    upstream backend {
             server 172.17.0.7;
             server 172.17.0.8;
             server 172.17.0.9;
         }
    server {

        listen       80;
        server_name  trffweb;

        location / {
             #反向代理的地址
             proxy_pass http://backend;     
        }
}

Nginx作为负载均衡器,它默认的访问策略是“轮询Round-Robin”,它也可以被设置为加权等策略。

而后面三个Squid服务器,它们的配置是完全一样的。在搭建成功后,使用客户端服务器进行测试:修改前面的cdn.me.com地址为Nginx服务器的地址,并在客户端服务器(172.17.0.6)执行两次host www.me.com命令:

第一台Squid服务器的日志(/var/log/Squid3/access.log):

第二台Squid服务器的日志:

第三台Squid服务器的日志:

  1. 扩展思考一下,这些Squid服务器之间缓存的内容是否要一致?如果要一致,该怎么做?
    如果这些Squid服务器缓存的内容不一致的话,带来的问题主要是这三台服务器并不是完全相同,假设其中一台宕机,其它的如果想要接替它的工作,由于缓存的内容不一致,对于并未在这台服务器上访问过的资源,它需要访问源主机请求并缓存返回,这只是诸多不便中的一条。更主要的是,缓存可以看做是该服务器的“状态”,即数据,具有状态的服务器在高可用、迁移等方便均存在不便,如何去状态化可能会是后续技术发展的趋势。

    就这里的场景而言,要想它们之间完成数据同步,有这样两种思路,一种还是各自保持各自的缓存,设定同步间隔,分出主从,每隔一段时间从服务器和主服务器完成同步。另一种是采用集中存储,无论是SAN,还是当前比较火的Ceph,都可以用来尝试解决这个问题。

  2. 扩展一下,如果这三台Squid服务器一台为Parent,另两台为Sibling该如何配置?
    这个留着后面实验吧。 :)


参考资料


探索CDN之二:Squid与简易CDN实验 探索CDN之二:Squid与简单CDN实验本系列文章将从初学者视角,一步一步循序渐进地探索CDN的相关知识。本文为系列第二篇,进一步介绍CDN的知识、Squid缓存服务器和简单的CDN实验。主要内容如下:探索CDN之二Squid与简单CDN实验 进一步聊聊CDN Squid缓存服务器 简单的CDN实验 参考资料进一步聊聊CDN?在上一篇文章里,曾讲到CDN是“内容分发网络”,依赖于一组代理服务器来提 阅读详情

相关推荐

数据驱动CDN(DD-CDN)

数据驱动CDN(DD-CDN)是一种利用机器学习和数据分析技术来优化内容分发网络(CDN)性能的技术。其核心目标是通过动态调整配置参数,以适应不断变化的网络条件和用户需求,从而提高整体性能和用户体验。

百态·数智思维 | 聚焦大数据、量化与未来AI 1122

CDN原理以及实验部署操作步骤

varnish squid代理软件 nginx

每天进步亿点点 2332

一文带你了解什么是CDN

一文带你了解CDN的背景、起源、原理和现存问题

josiah_zhao的博客 2469

CDN原理和使用,调度系统原理和实现

CDN原理和使用,调度系统原理和实现,Nginx负载均衡,反向正向代理,缓存代理;BGP路由协议

panxixia的博客 2359

CDN体系架构及部署方案探索

CDN技术的特点是,以目前既有的互联网网络为基础,通过在网络各边缘节点设置缓存服务器作为边缘服务节点,由此构成一套完整的智能虚拟化网络,通过内容管理和内容调度进行资源分发,使用流量重定向机制,通过路由优化计算,重定向用户的访问到CDN网络中最接近用户的边缘服务节点上,缩短访问路径,加快访问时间,减小网络拥塞,控制网络成本、提升网络的整体服务质量。人们能够通过建设三方监测平台,结合自有监控系统,实现CDN系统的多元化监测,做到对各个网络节点及资源服务节点的实时监控,并做好随时切换的准备,实现资源的统一调度。

xiaoli8748的专栏 8911

Cadence DSP 算子开发实战:从入门到精通

本文详细介绍了Cadence DSP算子开发的实战技巧,从入门基础到高级优化。内容涵盖DSP架构特性、内存管理、分块计算策略、SIMD指令优化等核心知识,并提供了性能调优和调试的实用技巧,帮助开发者快速掌握Cadence DSP开发精髓,提升图像处理等计算密集型任务的开发效率。

weixin_29278805的博客 440

CDN基础实验——使用Nginx+squid实现代理缓存功能

一、实验要求 CDN基础实验——基于nginx+squid实现缓存功能 1、搭建两个web服务,使用nginx实现。 一个做源站(然后域名为:www.cdntest.com),配置实现功能:提供可以访问的web服务;另一个做反向代理,接收用户的请求,配置实现功能是:代理到后端的squid。 2、搭建一个squid服务,配置实现如下功能: (1)txt缓存1个月,jpg文件不缓存 (2)配置回源功...

青梅煮酒 2373

C#上位机与OneNET云平台数据交互实战——基于HTTP与JSON解析

本文详细介绍了使用C#开发上位机软件与OneNET物联网云平台进行数据交互的实战方法。通过构建HTTP请求、解析JSON数据,实现设备数据的实时获取、界面展示与本地存储,为工业监控与数据采集提供了一套完整高效的C#解决方案。

kkk56的博客 220

CDN 缓存测试实验

一丶试验要求   CDN基础实验----基于nginx+squid实现缓存功能 1、搭建两个web服务,使用nginx实现。 一个做源站(然后域名为:www.cdntest.com),配置实现功能:提供可以访问的web服务; 另一个做反向代理,接收用户的请求,配置实现功能是:代理到后端的squid。 2、搭建一个squid服务,配置实现如下功能: 1)txt缓存1个月,jpg文件不缓...

weixin_40359302的博客 2252

Centos7.6下安装Zabbix6

一、

Overmaster博客 1908

IEEE LaTeX模板中algorithm排版避坑指南:如何优雅地嵌入算法描述?

本文详细解析了在IEEE LaTeX模板中优雅排版algorithm的实用技巧,包括基础配置、高级自定义及常见问题解决方案。通过嵌套环境与[H]参数的应用,帮助研究者克服IEEEtran模板对算法排版的限制,实现专业且美观的算法呈现。

weixin_28340315的博客 411

探索CDN之一:初识CDN

探索CDN之一:初识CDN本系列文章将从初学者视角,一步一步循序渐进地探索CDN的相关知识。本文为系列第一篇,主要是对CDN及相关内容的简单介绍和理解。主要内容如下:探索CDN之一初识CDN 什么是CDN CDN和DNS 如何自己搭建简单的CDN思路什么是CDN?CDN的英文全写是“Content Delivery Network”,中文译名为“内容分发网络”。下面是援引维基百科关于CDN的定义:

tyy2016 1736

Unity WebGL发布避坑指南:从内存设置到字体打包,一次搞定所有常见问题

本文详细解析Unity WebGL发布的完整流程,从内存设置到字体打包,提供全面的避坑指南。涵盖关键检查清单、内存与性能优化配置、资源处理专项优化及平台适配技巧,帮助开发者高效解决常见问题,确保项目顺利发布。

weixin_28693309的博客 148

探索CDN技术的奥秘:《CDN技术详解》电子书推荐

探索CDN技术的奥秘:《CDN技术详解》电子书推荐 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在当今互联网高速发展的时代,内容分发网络(CDN)技术已经成为提升用户体验、优化网络性能的关键工具。为了帮助广大技术爱好者、网络工程师和开发者深入了解CDN技术的核心原理和应用,我们特别推荐这本《CDN技术详解》电子书。该电子书由资深技术专家精心编写,内容详实,涵盖了CD...

gitblog_06514的博客 544

OpenAI Codex 国内安装配置全攻略:从零到实战的 AI 编程助手集成指南

AI 编程助手正成为提升开发效率的关键工具,其核心原理是基于大规模语言模型对代码语义进行深度理解与生成。这类技术通过将自然语言指令转化为可执行的代码、自动化重构与调试,为开发者提供了智能化的结对编程体验,其技术价值在于显著降低编码复杂度、加速项目迭代。在实际应用场景中,AI 编程助手可集成于日常开发流,辅助完成代码生成、项目分析与自动化任务。本文聚焦于 OpenAI 的 Codex,针对国内开发者在网络、认证和配置上的常见挑战,提供了涵盖多种安装方式、详细配置步骤及核心使用技巧的实战指南,并特别介绍了如何利

weixin_28715081的博客 416

CLRNet车道线检测模型在Orin Nano Super开发板上的全栈部署与优化实践

本文详细介绍了将CLRNet车道线检测模型部署到NVIDIA Orin Nano Super开发板的全过程。内容包括:1) Orin开发板硬件规格分析;2) JetPack SDK环境配置与Python虚拟环境搭建;3) CLRNet模型架构解析与PyTorch实现;4) 模型转换与TensorRT加速优化方法。通过系统性的环境配置、模型转换和性能优化,为边缘计算场景下的车道线检测应用提供了完整的解决方案,实现了在Orin平台上的高效部署。

huanghm88的专栏 227

探索 CDN 相关技术

通过这第 7 天对 CDN 相关技术的探索,我们了解了 CDN 是什么、它的工作原理以及如何通过常见的工具(如 Nginx)来搭建和测试一个简单的 CDN 配置。CDN 技术在现代网络应用中具有极其重要的地位,它能够显著提升用户体验,让网络内容的传输更加快速、高效。希望大家在今后的学习和实践中能够进一步深入了解和应用 CDN 技术。

m0_57836225的博客 841

【数据集】中国区域地面气象要素驱动数据集(CMFD)2.0

中国区域地面气象要素驱动数据集(CMFD)2.0

WW、forever的博客 2988

B站下行CDN架构的探索与应用

B站的下行CDN旧架构如下图所示,可以看到边缘CDN节点与中心调度服务有紧密协作,简单说是先由调度服务进行流量调度(负责均衡的调度到每个网关组件节点),再由回源组件进行集群内的回源收敛,最终到对应的回源节点进行回源。我们将负载能力划分成一个个小长方条,当某个资源(流)占据的条数>=N时,则会触发流量打散策略,将溢出的流量划分给其他组件,如图中“组件-1”内的深绿色大长方条,被平均切割成3个中长方条。接着,我们可以看到网关组件会将每个请求的实时带宽同步到中控,这也是所有策略的数据源。

bilibili_TC的博客 2386

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

WordPress CDN是什么?CDN有什么作用?

CDN 可以提高 WordPress 网站的可用性,并将加载时间缩短高达 72%。这就是为什么许多WordPress网站使用 CDN 来加快向用户交付内容的速度,无论他们身在何处。

a17759353293的博客 3090

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

探索CDN内容分发技术实践

1.背景介绍 内容分发网络(Content Delivery Network,CDN)是一种分布式、高性能的网络架构,它通过将内容分散到多个服务器位置,从而实现更快的访问速度和更高的可用性。CDN已经成为现代互联网业务的基石,它广泛应用于网站加速、视频流媒体、游戏下载等领域。 本文将深入探讨CDN内容分发技术的实践,涵盖其核心概念、算法原理、代码实例等方面。同时,我们还将分析CDN未来的发展趋...

AI天才研究院 1039

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

中国CDN简史

CDN的全称是(Content Delivery Network),即内容分发网络。CDN是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。说到CDN不得不提传统CDN,那要从Akamai开始讲起。传统CDN服务商时间轴回到二十四...

weixin_34265814的博客 1069

探索高效IP管理:Cut-CDN——智能移除CDN IP工具

探索高效IP管理:Cut-CDN——智能移除CDN IP工具 cut-cdn✂️ Removing CDN IPs from the list of IP addresses项目地址:https://gitcode.com/gh_mirrors/cu/cut-cdn 在网络安全和性能优化的世界中,CDN(内容分发网络)扮演着至关重要的角色。然而,对于漏洞猎手和网络管理员来说,识别并区分CDN背后...

gitblog_00046的博客 360

中国 CDN 编年史

CDN的全称是(Content Delivery Network),即内容分发网络。CDN是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。说到CDN不得不提传统CDN,那要从Akamai开始讲起。 1 传统CDN服务商 时...

caoyongsheng的博客 1517

汉诺集团 CDN 未来的新技术探索与发展前景!

比如在智能视频领域,AI 可以分析用户的观看习惯和偏好,CDN 根据这些信息精准推送相关视频内容,不仅提高了播放速度,还能为用户带来个性化的观看体验。而且,在 AI 模型训练过程中,大量的数据传输需求也能借助汉诺集团 CDN 的高效性能得到满足,加速模型训练进程,推动 AI 技术的发展。在制造业,CDN 可以支持工业互联网的发展,实现设备数据的实时传输和监控,提升生产效率和管理水平。家人们,让我们一起拭目以待吧!同时,加强对用户需求的分析和研究,根据不同用户的需求提供个性化的服务,满足用户多样化的需求。

rvb117b的博客 467

探索 kubeCDN:基于 Kubernetes 的高效 CDN 解决方案

探索 kubeCDN:基于 Kubernetes 的高效 CDN 解决方案 kubeCDNSelf-hosted CDN based on Kubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kubeCDN 是一个创新的开源项目,它利用 Kubernetes 的强大功能构建了一个动态、可扩展的内容分发网络(CDN)。该项目旨在提供一种灵活、易于管理和...

gitblog_00077的博客 718
上一篇: 探索CDN之三:DNS与BIND
tyy2016
博客等级 码龄10年 11粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值