浅谈Squid在图片存储架构中的应用

Vibe Coding 远程实践:AI辅助开发与多会话远程控制完整指南 在AI辅助开发日益普及的今天,自然语言编程正悄然改变着工程师的工作方式。Vibe Coding强调通过简短反馈循环让AI持续生成与迭代代码,其核心在于人类作为AI在物理世界的“传感器”,需要实时观察程序运行状态并及时回馈错误信息。然而,开发机通常固定在家或办公室,如何突破物理距离限制、随时接管AI任务,成为提升效率的关键。远程控制技术由此从备选工具升级为生产力基础设施,而多会话、跨端同步、移动端优化等能力,则让开发者能在手机或平板上同时监督多个AI代理并行工作,实现真正的“移动监督”。这种实践不仅适用于个人 阅读详情

将近快一个月没写文章了,太懒散了,今天振作了一下,写了篇关于Squid的文章,Squid作为分布式代理缓存服务器真的非常的棒,希望本文对你有帮助。

版权声明:非商业自由转载,保留原文内容完整性,并署名作者王国峰和原文链接

前言

上一篇我表明了自己对缓存的立场:缓存一切可以缓存的资源。并讨论了如何利用IIS自身的缓存功能来轻松满足中小规模的图片缓存需求。关于IIS的客户端缓存和服务器端缓存的介绍大家可以回顾这篇文章。自从上一篇文章发表后,有不少朋友向我反馈:用IIS自身的缓存功能负载有限,建议使用Varnish或Squid。是的,我非常同意,所以我今天就和大家来探讨一下分布式代理缓存服务器Squid在图片存储架构中的应用,文中的一些观点,如有错误,敬请指出,谢谢。

Squid简介

Squid是一款高性能分布式代理缓存服务器,它一般用来做前置Web Cache,加快用户访问Web的速度。为了说明其运行过程,我将仍旧沿用我前一篇的YD风格,再一次请出人见人爱、花见花开、车见爆胎的空空老师,请读者自觉送出掌声:

Squid君是时下最受欢迎的空空作品代理人,为了让所有空空迷能更快捷地欣赏到高质量的空空作品,Squid君天天加班加点,整理和保存空空的最新作品,并对其作进一步的优化处理,比如去码。

有一天,我无聊至极,便打电话给Squid君,向他要最新的空空写真图(向Squid发出下载请求);

Squid君仔细辨别了一下我的声音,发现是老朋友,于是便答应了我的请求(Squid中的ACL访问控制,只接受合法的请求);

Squid君对我说他手头刚好有一周前的空空写真,问我看过没有,我说发过来看看呗,于是他很快发给了我(Squid缓存命中,下载极快,哦耶!);

我收到写真图,发现是两天前已经看过了的,于是告诉Squid君要最新的,Squid君看了看库存,发现手头没有最新的了,于是就说让我等一会儿,他去问问其他的代理兄弟有没有,我说好的,谢谢(Squid支持分布式集群方式,各个父子节点、兄弟节点之间的缓存数据可以互相同步);

结果空欢喜一场,他回来和我说其他兄弟也没有,当我非常失落的时候,他突然说空空今天来杭州,他可以直接向空空要写真,我一开心就对他说,快去快去(当Squid缓存不命中时,只能从源服务器获取数据);

过了好久,Squid君回来了,他说见空空的人实在太多了,排了好久的队才拿到她最新的写真图呢,我谢过之后他就把写真很快地发给了我。之后他说他一定要把这个写真保存起来,以便提供给其他空空迷和其他兄弟代理(Squid会把从源服务器获取的数据保存到自己的缓存中,如果下一个用户提出同样的下载请求,Squid直接把缓存中的数据给用户,当然也可以把数据奉送给其他兄弟代理,独乐乐不如众乐乐)。

到这里,我相信你已经大概明白Squid的工作过程了吧,下面我就对Squid特点做一下简要概括:

  1. 开源,基于GNU通用公共许可证,意味着你可以在同等开源协议下使用和修改Squid。
  2. 支持多种协议,目前支持http、ftp、gopher、wais、ssl等网络协议。
  3. 支持分布式集群,Squid使用TCP(HTTP)和UDP(ICP/HTCP)通讯来确定邻居cache的状态。
  4. 支持访问控制,通过设置ACL和ARL来限制某些访问。

Squid官方网站:http://www.squid-cache.org/

你可以在官网上下载Squid以及阅读相关文档,当然接下来我也会用Chinese向大家介绍Squid的用法。

Squid配置详细说明

下面是一份详细的Squid的配置清单及其说明:

 
  1. #http_port指令告诉squid在哪个端口侦听HTTP请求。默认端口是3128,除下面的形式外,也可以是http_port 192.168.63.50:3128  
  2. http_port 3128  
  3. icp_port 3130  
  4.    
  5. #缓存目录的设置,可以设置多个缓存目录,语法为:<cache_dir> <aufs|ufs> <目录所在> <MBytes大小> <dir1> <dir2>  
  6. cache_dir ufs /var/spool/squid 1000 64 1024  
  7.    
  8. #下面是关于日志文件的放置目录与文件名!  
  9. cache_access_log /var/log/squid/access.log  
  10. cache_log /var/log/squid/cache.log  
  11. cache_store_log /var/log/squid/store.log  
  12. pid_filename /var/run/squid.pid  
  13.    
  14. #关闭认证机制,有些版本的 squid 会自动的加入代理认证机制,而普通情况下是不需要的,故找到包括auth_param的行,给它们加上注释  
  15. #auth_param basic children 5  
  16. #auth_param basic realm Squid proxy-caching web server  
  17. #auth_param basic credentialsttl 2 hours  
  18.    
  19. #设置squid用户及用户组、管理员账号  
  20. cache_effective_user squid  
  21. cache_effective_group squid  
  22. cache_mgr youraccount@your.e.mail  
  23.    
  24. # 与内存有关的配置:因为我的系统内存很小,所以只给 8 MB!如果您的物理内存很大的情况下,例如 512 MB,可以考虑加大到 64 或 128 MB。  
  25. cache_mem 128 MB  
  26.    
  27. # 与磁盘容量有关的配置(注:下列的 90 与 95 是百分比 ),如果您的 cache_dir 所在磁盘很大时,可以考虑将 4096 改成 32768 KB  
  28. cache_swap_low 90  
  29. cache_swap_high 95  
  30. maximum_object_size 4096 KB  
  31.    
  32. # 与内存保存资料有关的配置  
  33. maximum_object_size_in_memory 8 KB  
  34.    
  35. #定义acl(访问控制列表), 语法为:acl<acl> <acl名称> <acl类型> <配置的内容>  
  36. #黑体为用户自定义部分  
  37.    
  38. acl All src 0/0  
  39. acl Manager proto cache_object  
  40. acl Localhost src 127.0.0.1/32  
  41. acl Safe_ports port 80 21 443 563 70 210 280 488 591 777 1025-65535  
  42. acl SSL_ports 443 563  
  43. acl CONNECT method CONNECT  
  44. acl MyNetwork src 192.168.0.0/16  
  45.    
  46. #利用前面定义的acl,定义访问控制规则  
  47. http_access allow Manager Localhost  
  48. http_access deny Manager  
  49. http_access deny !Safe_ports  
  50. http_access deny CONNECT !SSL_ports  
  51. http_access allow MyNetwork  
  52. http_access deny All  
  53.    
  54. #定义与其它代理服务器的关系,语法: <cache_peer> <主机名称> <类别> <http_port> <icp_port> <其它参数>  
  55. cache_peer 192.168.60.6 parent 4480 7 no-query default 
  56.    
  57. #设置与其它代理服务器的关系:  
  58. # <cache_peer_access> <上层 Proxy > <allow|deny> <acl名称>  
  59. #cache_peer_access 192.168.60.6 allow aclxxx  
  60. #cache_peer_access 192.168.60.6 deny !aclxxx  
  61.    
  62. coredump_dir /var/spool/squid 

注意:以上的配置说明来自这里。

配置好以后,我们就可以启动squid了,启动的步骤如下:

1). 我们可以运行下面的命令来检查配置文件的正确性:

 
  1. # squid -k parse 

只有这一步正确你才可以进行下一步的操作

2). 初始化cache目录.即建立缓存目录的存储格式

只需在第一次启动squid服务之前执行(在初次运行squid之前,或者无论何时你增加了新的cache_dir,你必须初始化cache目录。)

 
  1. # squid -z 

cache目录初始化可能花费一些时间,依赖于cache目录的大小和数量,以及磁盘驱动器的速度。假如你想观察这个过程,请使用-X选项:

 
  1. # squid -zX 

3). 启动squid服务

 
  1. # service squid start 

假定squid安装在/usr/local/squid目录下,也可以

 
  1. # /usr/local/squid/sbin/squid -sD 

最后,我推荐你去看看Squid权威指南,并希望你可以利用Squid成功搭建一个分布式图片缓存系统,Squid真的很棒!

为了你和你家人的健康,转载请注明原文出处:http://www.itivy.com/ivy/archive/2012/3/10/squid-usage.html

另外,我觉得你可能还会对下面架构相关的文章感兴趣:

优酷网架构学习笔记

百万级访问量网站的技术准备工作

Facebook图片存储架构的学习

facebook图片存储架构技术全解析

全文完,谢谢阅读!

原文链接:http://www.cnblogs.com/sxwgf/archive/2012/03/10/2389470.html

驯服电源尖峰:从BUCK/BOOST环路剖析到高di/dt噪声的实战抑制 本文深入探讨了电源系统中高di/dt噪声的产生机制及抑制方法,通过BUCK/BOOST电路的环路分析,揭示了电流路径不连续导致的电压尖峰问题。文章提供了实用的PCB布局技巧和噪声抑制策略,包括最短回路原则、铺铜优化和过孔阵列战术,帮助工程师有效降低EMI噪声,提升电源系统的稳定性。 阅读详情

相关推荐

Xilinx Chip2Chip IP核实战:Aurora PHY通信配置与仿真避坑指南

本文深入解析Xilinx Chip2Chip IP核与Aurora PHY的通信配置与仿真优化,提供实战避坑指南。通过AXI协议转换桥实现FPGA间高速数据传输,详细讲解Aurora PHY参数设置、仿真加速技巧及常见问题解决方案,帮助工程师快速部署稳定高效的芯片间通信系统。

g5h6i7j的博客 1007

squid存储机制

1. ufs, aufs, diskd文件系统                        ufs, aufs, 以及diskd三种cache机制采用相同disk layout机制,它们都是基于文件系统的,采用二级索引机制,使用文件来存放一个cache object。三种cache机制的区别是,ufs的i/o是由主squid进程同步完成的,而aufs使用一组线程来完成i/o操作,diskd则

每天积累一点,一年后你会发现,自己变化很大 1070

IMU卡尔曼滤波方法详细介绍

本文介绍了基于IMU和卡尔曼滤波的状态估计方法。系统采用9维状态向量(位置、速度、加速度计零偏),通过牛顿运动学建立状态方程,并利用外部位置观测进行校正。详细推导了状态转移矩阵和控制输入矩阵的形式,阐述了预测和更新的计算步骤。同时说明了过程噪声Q和观测噪声R的设置原则,其中Q反映模型不确定性,R取决于传感器精度。该方法可有效融合IMU测量与外部观测数据,实现位置、速度和偏置的联合估计。

haing2019的博客 758

Squid配置以缓存大量图片

配置文件如下 http_port 59.175.238.60:80 defaultsite=219.140.171.194 vhost vport=80 cache_mem 2048 MBcache_swap_low 90cache_swap_high 95 maximum_object_size 20 MBmaximum_object_size_in_memory 8 MB cache_dir ...

Welcome to Radish Blog 893

2023-07-04 Fast-Lio论文中公式(6)与BCH公式中近似雅可比公式的一致性推导

将(1)式代入(6)式,就有。

wmorries的博客 480

无人机飞控传感器全解析:从IMU到光流传感器的实战应用

本文深入解析了无人机飞控系统的核心传感器,从IMU、气压计、磁力计到光流传感器,详细阐述了其工作原理、数据融合策略及常见挑战。结合ICF5、Pixhawk 6C等主流飞控硬件,提供了从传感器校准、滤波器调优到应对室内光流定位、强磁干扰等实战场景的系统性优化指南,帮助开发者突破飞控“黑箱”,实现更稳定、可靠的飞行控制。

weixin_28396629的博客 170

squid图形配置工具squidmodel

小记,未用http://www.oschina.net/p/squidmodel

Eric.Net的专栏 666

超详细版risc-v五级流水线cpu硬件设计实现解析

深入剖析risc-v五级流水线cpu的硬件架构与设计细节,涵盖指令流程、模块划分与关键时序控制,帮助理解risc-v五级流水线cpu的工作机制与优化策略。

weixin_42437253的博客 1637

linux7squid编译安装,CentOS 7.3 源码安装squid 4.12

一、源码安装squid 4.121.下载squid-4.12源码包下载:wget http://www.squid-cache.org/Versions/v4/squid-4.12.tar.gz 解压:tar -zxvf squid-4.12.tar.gz -C /usr/local/2.编译配置cd /usr/local/squid-4.12/./configure --prefix=/usr/...

weixin_34277895的博客 734

AAAI 2025杰出论文解读:神经符号推理与生物多样性计算的突破性进展

本文深度解读了AAAI 2025两篇杰出论文的突破性进展。南京大学周志华团队提出“溯因反射”框架,高效解决神经符号推理中的“不一致性”核心难题,为构建可靠、可解释的AI系统提供了新路径。斯坦福大学等机构的DiVShift研究,则系统分析了公民科学数据中的复杂分布偏移,为利用海量数据精准监测生物多样性及应对AI数据偏差提供了关键方法论。

weixin_29085865的博客 502

【YOLOv11改进 - 特征融合】SDI:多层次特征融合模块,替换contact操作

【YOLOv11改进 - 特征融合】SDI:多层次特征融合模块,替换contact操作

专注于图像领域,主要研究内容包括计算机视觉和深度学习,特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。 1771

图片存储架构学习:缓存,架构师的美丽小三(一)

从我的独立博客中同步过来的,一起探讨 版权声明:非商业自由转载,保留原文内容完整性,并署名作者王国峰和原文链接 前言 在上一篇中,我强行拆散了WEB服务器和图片服务器这对恋人,这样做或许有点不太厚道,但对于他们未来各自的发展绝对有好处,不久的将来,他们会感谢我的。 好了,回到今天的话题,今天这篇文章主要来谈谈缓存技术在图片存储架构中的重要地位,并一起来探索一下实现图片缓存的方案。...

a994182的博客 155

RockChip Android14 修改LCD背光最大值

在调试LCD屏时时长会出现硬件不匹配,导致电流过大,屏幕发热严重。在不调整硬件的情况下,我们可以通过修改软件,降低LCD背光最大值来实现适配。我们都知道LCD屏背光是靠pwm来控制,一般来说最大值可以设置为255,针对上述问题,我们可以通过软件来降低该值,比如200,100等等。

qq_34968572的博客 631

图片存储架构学习:独立的图片服务器,给爱一个独立的空间

前言 去年我凭着对网站架构的浓厚兴趣陆陆续续给大家分享了不少大型网站架构的经典案例,但是大部分都只是介绍了大概,并没有深入地研究,有兴趣的朋友可以去我博客的网站架构分类下学习讨论。今年我打算继续学习网站架构方面的知识,并对此作更加深入地分析与实践,当然学习成果会及时和大家分享和交流,希望今年自己的能力可以更上一层楼吧。 这几天我一直在关注大型网站中图片存储方面的相关问题,通过了解和实践,体会颇

1万+

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

图片存储架构学习:独立的图片服务器

前言 去年我凭着对网站架构的浓厚兴趣陆陆续续给大家分享了不少大型网站架构的经典案例,但是大部分都只是介绍了大概,并没有深入地研究,有兴趣的朋友可以去我博客的网站架构分类下学习讨论。今年我打算继续学习网站架构方面的知识,并对此作更加深入地分析与实践,当然学习成果会及时和大家分享和交流,希望今年自己的能力可以更上一层楼吧。 这几天我一直在关注大型网站中图片存储方面的相关问题,通过了解和实践,体会颇

人在江湖漂 880

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

java系统高并发解决方案之图片服务器分离

1介绍 现在很多的网站上都会用到大量的图片,而图片是网页传输中占主要的数据量,也是影响网站性能的主要因素。因此很多网站都会将图片存储从网站中分离出来,另外架构一个或多个服务器来存储图片,将图片放到一个虚拟目录中,而网页上的图片都用一个URL地址来指向这些服务器上的图片的地址,这样的话网站的性能就明显提高了,图片服务器(ImageServer)的概念也就产生了。 1.1图片服务器的优势

爱分享的淘金达人 833

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

大型网站架构 图片服务器分离

1 介绍 现在很多的网站上都会用到大量的图片,而图片是网页传输中占主要的数据量,也是影响网站性能的主要因素。因此很多网站都会将图片存储从网站中分离出来,另外架构一个或多个服务器来存储图片,将图片放到一个虚拟目录中,而网页上的图片都用一个URL地址来指向这些服务器上的图片的地址,这样的话网站的性能就明显提高了,图片服务器(ImageServer)的概念也就产生了。 1.1 ...

WGH100817的博客 184

大型网站如何实现图片服务器分离 提高网站性能 ...

1 介绍 大家可以关注一下当前所有的大型网站,他们的图片URL一般都会用其他二级域名,其服务器也是独立的服务器。现在很多的网站上都会用到大量的图片,而图片是网页传输中占主要的数据量,也是影响网站性能的主要因素。 因此很多网站都会将图片存储从网站中分离出来,另外架构一个或多个服务器来存储图片,将图片放到一个虚拟目录中,而网页上的图片都用一个URL地址来...

weixin_34114823的博客 739

Wiki的架构情况 _ cdn - lvs - squid _ 参考

GeoDNS:这个GeoDNS可能比较新奇,实际上原理很简单,GeoDNS是一个为BIND写的40行的小程序,可以让DNS解析的时候考虑地域因素——让用户能够访问离他地域最近的Web服务器。 LVS:LVS 是一个开源的软件,可以实现 Linux平台下的简单负载均衡。主要由负载调度器、服务器池和共享存储构成。可喜的是,这是一款为数不多的中国人自己编写的开

cnbird's blog 1469

图片服务器分离

片了。这种方式基本不会有因同步造成的延时,但需要依赖nfs,nfs挂掉会影响web服务器。如下图  至于如何配置nfs,大家google一下,或者看一下这篇文章,是在Linux下配置NFS的http://blog.youkuaiyun.com/lixinso/article/details/6639643 2、利用FTP同步  和上面nfs不一样的是,用户上传完图片后是利用ftp同步到各个图片服务器的,p

信马堂 1940
上一篇: 大型高并发高负载网站的系统架构
下一篇: 八皇后问题的回溯算法
iCreateX
博客等级 码龄14年 1粉丝 1原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值