反向代理缓存/分段页面缓存

最新推荐文章于 2025-05-19 10:22:37 发布
原创 最新推荐文章于 2025-05-19 10:22:37 发布 · 558 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

ESI（Edge Side Includes）----分段页面缓存的核心思想是将一些不具有动态化的html缓存起来，对随着用户或者应用发生某些动态的页面片段通过访问web服务完成页面展示。

说道这里，你肯定知道在传统的web服务器前面有一个层专门对静态的html进缓存。这种架构就是我们说的 反向代理缓存。至于为什么叫反向代理，相信这里你也应该已经一窥一二了。

通常ESI有2中实现方式：Velocity自定义实现和第三方提供的服务varnish/Squid

Velocity的自定义实现ESI的方式参考如下：

http://www.cnblogs.com/yuyijq/archive/2011/05/07/fragment_cache_one.html

关于varnish的ESI参考如下

http://www.cnblogs.com/yuyijq/archive/2011/05/08/fragment_cache_two.html

分布式大全：反向代理/Redis/中间件/MySQL/消息，挑战阿里P7必备
m0_55849656的博客
06-15 1351
分布式大全：反向代理/Redis/中间件/MySQL/消息，挑战阿里P7必备
运维锅总详解计算机缓存
专注于输出大概有用的软硬件技术！
07-04 1797
本文从OSI模型中的每一层缓存介绍、常见开源中间件缓存举例、TCP/IP协议栈中的缓存机制、操作系统中的缓存、访问缓存数据的时间范围统计等方面对计算机中的缓存进行详细介绍。希望对您有所帮助！
动态内容缓存技术(wenku)_CSI,SSI,ESI.pptx
03-30
动态内容缓存技术(wenku)_CSI,SSI,ESI.pptx
页面部分缓存概述
小丸子的博客
06-28 496
                页面部分缓存概述      页面部分缓存允许缓存页的部分内容，其他部分则为动态内容。由于大部分Web页面的某些部分在每一次请求时都需要进行更改，所
ESI 动态缓存技术
weixin_34413103的博客
06-02 239
任何一个Web网站的内容都是在不断更新和变化，但这并不意味这这个网站的内容就是动态内容，事实上，动态的内容是指用户每次点击 相同的链接时取的的内容是由Web服务器应用程序生成的，如常见得ASP，JSP等，与此相对应，静态内容一般就是指由文本、图像和多媒体组成，在用户每 次单击相应链接时基本保持不变。现在解决动态内容缓存的最新技术就是通过ESI技术来设计网站的内容。 ...
ESI动态缓存技术
虚客
09-28 274
任何一个Web网站的内容都是在不断更新和变化，但这并不意味这这个网站的内容就是动态内容，事实上，动态的内容是指用户每次点击 相同的链接时取的的内容是由Web服务器应用程序生成的，如常见得ASP，JSP等，与此相对应，静态内容一般就是指由文本、图像和多媒体组成，在用户每 次单击相应链接时基本保持不变。现在解决动态内容缓存的最新技术就是通过ESI技术来设计网站的内容。 ESI技术工作原理     ...
网页缓存技术 ESI（转）
frank1998819
03-10 537
平常我们谈到网络缓存技术，大多是以页面为单位的，比如，新闻网站中将执行后的结果，缓存为一个静态html文件，下次访问时就直接访问这个静态页面了！减轻了服务器压力！但是，如果一个页面大部分是可静态的，但是有一部分却需要是动态的咋办呢？ 如下图中画红线处，就需要动态，时时探测用户是否登录！这就可以使用动态内容缓存技术！ 动态内容缓存技术，总体来说就是该静态化的静态化，该动态的保持动态，最后进行组合...
大型电商架构亿级流量电商详情页系统--实战 缓存同步，热点key统计 降级
asd23rsa的博客
05-15 1461
35 我们之前的三十讲，主要是在讲解redis如何支撑海量数据、高并发读写、高可用服务的架构，redis架构 redis架构，在我们的真正类似商品详情页读高并发的系统中，redis就是底层的缓存存储的支持 从这一讲开始，我们正式开始做业务系统的开发 亿级流量以上的电商网站的商品详情页的系统，商品详情页系统，大量的业务，十几个人做一两年，堆出来复杂的业务系统 几十个小时的课程，讲解复杂的业务 把整体的架构给大家讲解清楚，然后浓缩和精炼里面的业务，提取部分业务，做一些简化，把整个详情页系统的流程跑出
Nginx越界读取缓存漏洞分析CVE-2017-7529
qq_43571759的博客
04-22 866
CVE-2017-7529 Nginx越界读取缓存漏洞 Nginx在反向代理站点的时候，通常会将一些文件进行缓存，特别是静态文件。缓存的部分存储在文件中，每个缓存文件包括“文件头”+“HTTP返回包头”+“HTTP返回包体”。如果二次请求命中了该缓存文件，则Nginx会直接将该文件中的“HTTP返回包体”返回给用户。 漏洞分析 如果我的请求中包含Range头，Nginx将会根据我指定的sta...
【操作系统/OS笔记05】非连续内存分配：分段、分页、页表
记录学习痕迹的公众号：Piper蛋窝
09-15 1129
分连续内存分配：分段、分页、页表；以及高级的反向页表等等。
得克威尔早期ESI文件版本——可用来配置EtherCAT
09-23
早期得克威尔的远程IO模块ESI文件。 该版本的优点之一，就是能够在PLC端直接配置布尔类型的数组，批量映射IO点。不会像新版本一样需要一个一个去映射。
siitool:Siitool从EtherCAT设备的ESIXML描述文件生成SIIEEPROM文件。 该程序还能够解释原始的SIIEEPROM文件并以人类友好的语法进行打印
05-11
siitool （维护者：fjeschke [AT] synapticon [DOT] de） 此工具可以查看和打印以筛选SII / EEPROM文件和ESI / XML文件的内容。 另外，可以从受支持的ESI文件生成有效的SII二进制文件。 有关更多信息，请参阅主要。 安装 要构建siitool，请确保在系统上安装libxml2-dev。 首选的方法是使用本地数据包管理器（根据系统的不同，应选择不同的名称（apt（1）或rpm（1）））。 然后简单地做 $ make 构建siitool。 之后，建议使用以下命令安装软件： $ sudo make install 这会将siitool安装到/ usr / local / bin并安装支持手册页。 要更改默认安装位置，只需将Makefile中的PREFIX变量更改为您喜欢的位置。 执照 请在此存储库中查看LICENSE文件。
页面片段缓存（二）
weixin_34367257的博客
05-08 247
在上一篇文章中，我介绍了我们用土法炼钢的方法，使用Velocity提供的自定义标签实现片段缓存。这样的方式虽然也解决了我们的问题，但还是引出了一些bug。而且还有点hack的味道（虽然我喜欢hack）。实际上对于片段缓存，业界有成熟的解决方案，还有一个所谓的W3C标准：ESI（Edge Side Include） 。 ESI本身没有什么，只是一个XML的标签集合。ESI和SSI（Server S...
【技术心得】 谈谈ESI（页面片段缓存）
coolfiry
10-14 508
  ESI是什么 ESI的全称是Edge Side Inclue，是一种页面判断缓存的技术。 ESI是一种数据缓冲/缓存服务器，它提供将Web网页的部分（这里指页面的片段）进行缓冲/缓存的技术及服务。由Oracle公司发起的技术规格， 为什么要有页面片段缓存 对大型网站来说，网站的页面中存在着部分是静态的内容，部分是动态的内容，比如天气，最新动态等。 网站为了提高性能将静态的内...
ESI是什么
tiandirensoon
11-01 1498
ESI的全称是Edge Side Inclue，是一种页面判断缓存的技术。 ESI是一种数据缓冲/缓存服务器，它提供将Web网页的部分（这里指页面的片段）进行缓冲/缓存的技术及服务。由Oracle公司发起的技术规格， 为什么要有页面片段缓存 对大型网站来说，网站的页面中存在着部分是静态的内容，部分是动态的内容，比如天气，最新动态等。 网站为了提高性能将静态的内容进行缓存在前端的反向代理服务器上，将...
ESI文件详解：让EtherCAT网络配置更智能 !
最新发布
MotroEngineer的博客
05-19 868
ESI文件是配置和管理EtherCAT网络的重要组成部分。它们能够简化设备集成过程，确保设备兼容性，并促进主站与从站之间的快速、准确的数据通信。理解ESI文件的工作原理，并确保每个从站使用正确的ESI文件，是构建高效且稳定的EtherCAT网络的关键。通过合理利用ESI文件，工程师可以快速部署和维护EtherCAT网络，并减少人为干预。
OMRON欧姆龙Sysmac Studio软件--ESI文件的安装
热门推荐
老王的博客
10-19 1万+
而硬件用了一款第三方的EtherCAT总线轴，这种总线轴有很多，比如国产的有汇川，禾川等，国外的有松下，三菱等，首先要先问供应商要ESI文件，一般官网都不会有。
EtherCAT ESI文件生成
xikangsoon的博客
05-29 875
EtherCAT ESI文件
EtherCAT从站ESI文件和PDO
qq_15509277的博客
07-05 2525
3、Profile中描述字典信息，存放从站支持的PDO列表和Object列表，其中Object列表中的主索引和子索引作为PDO entry中存放过程数据映射的选择。SII（Slave Information Interface）EEPROM作为从站向外提供配置信息的接口，EEPROM中存放的是配置的ESI信息，具体内容见下图。从站的使用必须参考厂家提供的ESI文件进行，用户拿到从站ESI文件后，如果默认配置不满足需求，可以通过上位机，或者直接向从站发送SDO请求进行配置。
通过nginx反向代理，数据返回不全
03-22
在通过 Nginx 反向代理时，如果发现数据返回不全的问题，通常是由于以下几个常见原因导致的。我们可以逐一排查并解决问题。 --- ### 一、可能的原因分析 #### 1. **缓冲区设置不足** Nginx 默认会对后端服务器返回的数据进行缓存，并将数据分段传递给客户端。若单次响应内容较大（例如文件下载），但缓冲区容量不足以容纳完整的响应，则可能出现“数据返回不全”的现象。 解决办法：增大缓冲区配置。 - 指令：`proxy_buffer_size` - 示例： ```nginx location / { proxy_buffer_size 64k; # 增加单个缓冲区大小至64K } ``` #### 2. **缓冲区内存限制过多** 除了单个缓冲区外，还可能存在内存中分配的缓冲区数量不足的情况。当响应内容超出所有可用缓冲区容量时，多余部分会被写入磁盘临时文件，可能导致性能下降甚至数据丢失。 解决办法：增加缓冲区总数。 - 指令：`proxy_buffers` - 示例： ```nginx location / { proxy_buffers 16 32k; # 设置总共16个32K的缓冲区 } ``` #### 3. **临时文件存储受限** 对于非常大的响应结果，Nginx 需要将其保存到磁盘上作为临时文件。此时如果没有正确地设定临时文件的最大尺寸或路径规则，也可能引发异常情况。 解决方案：调整临时文件管理参数。 - 指令：`proxy_max_temp_file_size`, `proxy_temp_path` - 示例： ```nginx http { proxy_temp_path /var/cache/nginx/proxy_temp; # 定义存放位置 } location / { proxy_max_temp_file_size 1g; # 最大支持1GB大小的临时文件 } ``` #### 4. **连接超时设置不合理** 假如用户的网络环境较差或者远距离访问存在延迟较高情形下，那么原本正常耗时不长的操作现在变得极为缓慢，一旦超过了预设时限就会终止传输过程进而造成部分内容缺失问题的发生。 应对措施：延长读取超时时间。 - 相关指令包括但不限于下面几项： - `proxy_read_timeout`: 控制等待下游回复所需最长时间； - `send_timeout`: 决定每次写回客户机之间所允许停留多久才算失败。 - 实际运用场景举例来说像这样设置较为合适: ```nginx location /slow-api/ { send_timeout 300s; proxy_read_timeout 300s; # 给予足够充裕的时间完成任务 } ``` #### 5. **压缩功能干扰** 有时为了提高页面加载速度启用了gzip之类的压缩算法之后，在特定条件下反而容易引起乱码或者是信息长度不对等问题 ，因此也应当考虑到这方面的影响因素是否存在冲突之处并且妥善加以规避掉才行啊！ 修正策略：明确指定哪些资源可以被压缩以及相应的等级标准等等细节事项 。比如这里给出一个参考模板如下所示 : ```nginx gzip on ; gzip_min_length 1k ; // 设立最小压缩单位为一千字节以上才开始实施此机制动作起来 gzip_types text/plain application/javascript image/svg+xml ... etc...; // 明列出来的mime-types才是符合条件者才会受到该项技术加持效果作用覆盖范围内去应用哦~ ``` --- ### 二、总结与建议 综上所述，“通过 nginx 反向代理， 数据返回不全”这一状况往往是由上述几种常见的原因之一或是组合形式共同造成的。我们需要仔细检查自己的实际部署环境中涉及到的所有相关联配置项目有没有按照最佳实践规范来进行适当合理的定制化修改适应自身需求特点即可成功化解此类难题啦！记得每一次更改完新的改动之后都需要重新测试一遍确认最终成果准确无误再投入生产使用当中哟～
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值