通过Nginx代理下载超过1GB的文件失败

48f678dc04acae87ec7b8314bdb1a07a.png

项目场景:

浏览通过Nginx代理请求下载超过1GB文件

问题描述

前几天项目开发时发现,通过 Nginx 代理下载 超过1GB的大文件时,出现"网络错误",而在服务器上下载时却很正常。经确认排除嫌疑,最后发现是 Nginx Buffer 的锅。下面就来聊聊这个问题是怎么发生的。

原因分析:

Nginx Buffer 机制默认处于开启状态,其会根据 proxy_buffer_size 和 proxy_buffers 这两个参数控制写入内存的大小。

如果响应大于这个 buffer 大小,Nginx 会继续通过 proxy_max_temp_file_size 参数将响应其余部分写入到磁盘临时文件。

我遇到的问题:proxy_max_temp_file_size 默认为 1G,当客户端的网络比较慢时,临时文件很快就被写满。这时候后端的响应还会继续被接收到 socket 缓冲区,直到缓冲区被打满。

此时,Nginx 所在服务器通过滑动窗口 zero 0 告知后端服务器停止发送数据,直至触发了后端的 write 超时。

解决方案:

proxy_max_temp_file_size 2048m

* 调整 proxy_max_temp_file_size 大小

调大:让临时文件足够可以缓冲整个响应

调小:让整个链路上的数据流动起来,不要阻塞后端的 write 操作,进而触发后端的超时

* 关闭 Buffer:不推荐,会影响 Nginx 到后端的连接复用

71e634f0e3d8470a83ac677f23cbdc48.jpeg

 补充:

关于proxy_buffering:

proxy_buffering这个参数用来控制是否打开后端响应内容的缓冲区,如果这个设置为off,那么proxy_buffers和proxy_busy_buffers_size这两个指令将会失效。但是无论proxy_buffering是否开启,对proxy_buffer_size都是生效的。

proxy_buffering开启的情况下,nignx会把后端返回的内容先放到缓冲区当中,然后再返回给客户端(边收边传,不是全部接收完再传给客户端)。临时文件由proxy_max_temp_file_size和proxy_temp_file_write_size这两个指令决定的。如果proxy_buffering关闭,nginx会立即把从后端收到的响应内容传送给客户端,每次取的大小为proxy_buffer_size的大小,这样效率肯定会比较低。

注:proxy_buffering启用时,要提防使用的代理缓冲区太大。这可能会吃掉你的内存,限制代理能够支持的最大并发连接数。

1d7f406d25d1b5a9aeef89e2ed4a0b94.jpeg

另,可以参考以下步骤

设置一,不限制临时文件大小

vim /etc/nginx/weijishu.conf

加入如下配置,

server {
    #...

    location / {
        #...
        proxy_max_temp_file_size 0;
        #...
    }
}

配置修改完成后,需要重载服务使配置生效,

systemctl reload nginx.service

注:缓冲区大小无限制,一直下载完整个文件

设置二,关闭代理响应缓存(可选)

vim /etc/nginx/nextcloud.cmdschool.org.conf

加入如下配置,

server {
    #...

    location / {
        #...
        proxy_buffering off;
        #...
    }
}

注:参数“proxy_buffering”设置为“off”则回应收到立刻同步传递到客户端
配置修改完成后,需要重载服务使配置生效,

systemctl reload nginx.service
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值