PHP返回内容过长时被nginx截断的解决办法

最新推荐文章于 2025-03-03 16:07:10 发布
原创 最新推荐文章于 2025-03-03 16:07:10 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#php #curl

在服务器迁移后，遇到CURL请求PHP接口返回数据被截断的问题，引发系统异常。通过分析nginx错误日志，发现是由于权限问题导致数据无法完整发送。将相关目录设置为775权限后，问题得到解决。问题根源在于当PHP返回内容过大时，nginx尝试临时存储部分数据到文件，但由于权限不足，导致传输中断。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PHP返回内容过长时被nginx截断的解决办法

背景

在一次服务器迁移后，发现原来的一些接口使用CURL请求数据返回不全导致系统报错，报错信息：cURL error 18: transfer closed with outstanding read data remaining (s (truncated…)

分析

发现返回的数据被截断了。因此，导致系统异常。之后的整个分析过程绕了一大圈，最后，还是从nginx的错误日志中发现了端倪。
在nginx的错误日志中发现如下信息：

[crit] 7042#0: *3 open() "/var/lib/nginx/tmp/fastcgi/4/00/0000000004" failed (13: Permission denied) while reading upstream, client: 117.72.224.240, server: www.bo56.com, request: "GET /wp-admin/post-new.php HTTP/1.1", upstream: "fastcgi://127.0.0.1:9010", host: "www.bo56.com", referrer: "http://www.bo56.com/wp-admin/edit.php"

解决

错误日志显示， Permission denied，说明没权限。把这个目录设置为 775 权限问题解决。

原因

如果PHP返回的内容过大，nginx会把一部分内容先存到文本文件中，等全部内容都接收完毕后，再一并发送到客户端。

抠脚强
关注
【nginx】ngx_http_proxy_connect_module 正向代理
突围
09-14 1039
nginx 正向代理
12-4 Nginx漏洞复现与分析
weixin_43263566的博客
11-29 1860
CGl: CGl是一种协议，用于定义Nginx或其他Web Server传递的数据格式。CGl是一个独立的程序，与Web Server无关，可以用任何语言编写CGl程序，比如C、Perl、Python等。Fastcgi: Fastcgi:是一种协议，前身是CGI，可以简单理解为是优化版的CGI，具有更高的稳定性和性能。PHP-CGI: 只是一个PHP的解释器，本身只能解析请求并返回结果，不会做进程管理。
记录一次解决PHP返回数据被nginx截断的问题
咖啡色的羊驼
08-01 4817
前言今日，发生了一件懵逼的事情，通过内部接口获取数据的时候，概率性出现返回的数据被截断的问题。内部接口好好的为何突然出现问题了？此文将记录这次本应该很快解决却没有很快解决的过程。正文背景内部接口分为5+3＝8台机器，为什么这么说呢，5台是一直有的，而3台是刚新增的，问题就出在了这三台，由于负载均衡策略所以出现在前文说到的概率性出现返回的数据被截断的问题。一般开发是没有机器权限的，再不申请临时机器权限
php返回数据被nginx截断问题
sapodilla的专栏
12-05 711
分析截断产生原因 看报错显示是fastcgi_temp的写入没权限？  有点懵逼，这个和fastcgi_temp什么关系？  经过查资料得到：  原来nginx存在一个buffer的机制，数据过大超出缓冲区的最大容量，会将数据写入临时文件时（fastcgi_temp目录下），而此时又没有权限，所以再返回时，超出缓冲区的数据将丢失，就出现了截断。 解决办法 先是查询nginx的配置 user w...
PHP中get返回数据太长被截断,GuzzleHttp 异常信息为什么会被截取？
weixin_29458415的博客
03-19 1278
当我们在使用这个扩展包的时候，发送一些请求，当请求出现问题，就要去获取他的异常，而当我们使用下面的代码时，会发现异常会被截断try{...$info = $response->getBody()->getContents();return $info;}catch (\GuzzleHttp\Exception\RequestException $e){ErrorLogs($e->...
客户端请求数据较大时，nginx返回数据被截断
bobozai86的博客
06-11 1700
配置文件中包含了proxy_buffer_size、proxy_buffers两个配置字段，其中proxy_buffer_size用来接收后端服务器response的第一部分，proxy_buffers用来设置读取被代理服务器的缓冲区数目和大小，如果proxy_buffers关闭，nginx不会等到所有后端数据都被获取到之后才返回，而是尽快将接收到的数据传给客户端，在数据传完之前，nginx接收的最大缓存不能超过proxy_buffer_size。【问题描述】：客户端使用。
Nginx 截断响应内容问题分析与优化
qq_46634095的博客
03-03 482
这个时候大概可以确定是nginx的配置截断了返回体导致的，查找文献发现nginx的内存缓存区的初始大小是4K，没办法满足返回体较长的这种情况。在访问某个服务时，发现返回的请求体不完整，导致服务无法正常使用。使用 curl 命令测试时也遇到同样的问题，尝试添加不同的参数仍然无法解决。配置生效之后直接访问域名的返回体就是完整的了，如果还不完整可能需要请求体大小设置上面的缓存区大小。最终发现： 将 URL 的域名替换为本地服务的具体 IP 地址后，返回的数据就正常了。注意写在location块内。
Nginx调优
m0_56342013的博客
05-27 1716
nginx部署及调优
Nginx中的解析漏洞整理
白泽Sec安全实验室
10-28 4629
在实战中经常遇到nginx，遇到nginx第一反应就是解析漏洞 Nginx中php配置错误导致的解析漏洞 漏洞详情 这一漏洞是由于Nginx中php配置不当而造成的，与Nginx版本无关 Nginx拿到文件路径（更专业的说法是URI）/test.jpg/test.php后，一看后缀是.php，便认为该文件是php文件，转交给php去处理。php一看/test.jpg/test.php不存在，便删去最后的/test.php，又看/test.jpg存在，便把/test.jpg当成要执行的文件了 这其中涉及到ph
后台返回字符串过长被nginx截断
疯子也是猖狂
11-30 3486
前端用的vue后端用的java，本来没事，然后用着用着chrome就出现超时的异常，然后打开火狐，发现是返回的数据被阶段了，导致json解析失败。 这个被截断的原因也是出现在nginx上，因为返回数据过大，超出了nginx默认缓冲区，所以才会被截断。 在需要配置的路由下配置buffer location ^~/apiswr/ { proxy_pass http://ip:端口; client_max_body_size 100m; fastcgi_buffer_s
nginx：get post数据超长引发的异常
u011840205的博客
05-27 3841
1、post 用curl发送post请求，data超长（1026，也就是大于1k）时，可以发现数据是分步骤发送出去的 遇到的问题是：send for continue 一直发不出去 网络运营商mtu设置网络异常 2、get 前提是：用nginx做proxy,后端是python manage.py runserver 遇到的问题是：后端返回302重定向 原因是nginx做proxy代理有很多坑...
php返回数据量较大怎么办
Crazy_shark的博客
09-10 1470
针对 PHP 返回大数据量的情况，常见的优化方式包括分页、数据分块、流式输出、数据压缩、懒加载等技术。这些方法不仅可以减轻服务器负载，还能提升用户体验。根据实际应用场景选择合适的方案，结合数据库、缓存、异步任务等技术，可以有效解决大数据量处理的瓶颈问题。
Nginx全局异常兜底数据返回+封禁恶意IP
xdclass888的博客
11-25 138
这是我参与11月更文挑战的第12天，活动详情查看：2021最后一次更文挑战 什么是兜底数据 兜底数据，它属于咱们微服务里面的一个容灾方案，现在多数互联网公司一般服务就很多个，那难免会有服务或者接口出错。 我们需要说一下这个重要性，比如一个网站它一天的访问量几千万上亿，那它如果某一个接口挂了， 那咱们前端的就拿不到对应的数据，那我们的页面就展示就会出问题比如空白，那用户就会一脸的懵逼。 那...
curl引起的截断问题
dlcloud的专栏
02-15 3409
是用curl请求服务器内容，是用echo显示，发现只能显示部分内容，显示内容不全 解决思路： 1、确定是否是curl配置导致的请求数据不全，使用抓包软件，抓取服务器间的通信数据 2、根据抓取结果判断问题原因， 需要注意的是，通过抓包软件还可以对curl的配置参数进行直观的复现，利于问题的分析。 我遇到的问题是显示的内容是服务器内容的第一行，其余内容没有，经过抓包发现，在第一行末尾是0x0
返回xml过长时被nginx截断的解决办法
weixin_33965305的博客
01-21 567
返回xml过长时被nginx截断的解决办法 问题描述:通过网页获取数据，数据格式为xml。当xml比较短时，可以正常获取数据。但是xml长度过长时不能正常获取数据，通过观察返回数据的源代码，发现xml被截断了。 服务器环境：CentOS 6.5，Nginx 1.0.15，PHP 5.3.3 解决方法：对比发现，使用apache代替nginx的时候可以正常获取长的xml数据。确定问题出现在ng...
ERR_INVALID_CHUNKED_ENCODING错误或curl: (18) transfer closed with outstanding read data remaining错误解决方案
热门推荐
m0_37668842的博客
04-09 1万+
ERR_INVALID_CHUNKED_ENCODING错误 curl: (18) transfer closed with outstanding read data remaining错误 Failed to load response data错误 最终解决方案 问题现象： 前端控制台报错：ERR_INVALID_CHUNKED_ENCODING报错处理 前端调试模式可以看到...
Nginx的常见问题
zhchyun
10-31 293
本文意在总结使用Nginx当中出现的问题，如何解决这些问题的。可能不够全面，不适合所有情况，意在总结和节省时间。 目录 1 十六进制log转换 1 十六进制log转换 nginx.conf 添加设置 log_format access escape=json '$remote_addr - $remote_user [$time_local] "$request" ' ...
PHP Curl transfer closed with outstanding read data remaining
weixin_33686714的博客
04-04 450
php transfer closed with outstanding read data remaining php curl CURLOPT_HTTPHEADER php curl 报错 transfer closed with outstanding read data remaining http://php.net/manual/zh/function.curl-setopt.p...
nginx Response Chunking
最新发布
07-22
<think>我们正在讨论Nginx的响应分块（Response Chunking）配置和故障排除。响应分块是HTTP/1.1中的一种传输编码机制，允许服务器将响应分成多个部分（块）发送，而不需要预先知道整个响应的大小。这在处理动态内容或大文件时非常有用。 根据用户提供的引用，虽然引用内容是关于Nginx配置文件语法检查失败的（如`nginx -t`命令报错），但用户明确表示这些引用并非其真正需求，而是希望了解Nginx的响应分块配置和故障排除。因此，我们将忽略引用中的内容，专注于响应分块主题。 以下是关于Nginx响应分块配置和故障排除的详细解答： ### 1. **Nginx响应分块的基本原理** - **分块传输编码（Chunked Transfer Encoding）**：是HTTP/1.1中定义的一种机制，用于在未知内容长度时逐块发送数据。每个块包含一个十六进制的大小标识和实际数据，最后以一个大小为0的块结束。 - **Nginx的默认行为**： - 当上游服务器（如PHP-FPM、Node.js等）返回分块响应时，Nginx默认会将其传递给客户端。 - 对于静态文件，Nginx默认使用完整内容长度（Content-Length）而非分块，除非显式启用分块。 - **关键指令**：`chunked_transfer_encoding`（默认开启，通常无需修改）。 ### 2. **配置响应分块** - **代理上游的分块响应**（如反向代理场景）： 在`location`块中配置代理时，确保不强制设置`Content-Length`，并保持`chunked_transfer_encoding on;`（默认值）。示例： ```nginx location / { proxy_pass http://backend; proxy_http_version 1.1; # 建议使用HTTP/1.1以支持分块 proxy_buffering off; # 禁用缓冲以实时传输分块数据 } ``` - `proxy_buffering off`：禁用Nginx的缓冲，使分块数据立即转发给客户端。但注意：禁用缓冲可能增加上游服务器负载。 - **静态文件分块**： 默认静态文件发送时使用`Content-Length`。若需强制分块（例如大文件下载），可设置： ```nginx location /largefile { chunked_transfer_encoding on; tcp_nopush on; # 优化网络包发送 aio on; # 异步I/O（可选） } ``` ### 3. **常见问题与故障排除** - **问题1：客户端未收到分块响应，而是完整内容** - **原因**：Nginx的缓冲机制（`proxy_buffering`或`fastcgi_buffering`）开启时，会等待接收完整响应后再发送。 - **解决**：在对应`location`中关闭缓冲： ```nginx proxy_buffering off; # 用于代理 fastcgi_buffering off; # 用于FastCGI（如PHP） ``` - **问题2：分块响应被截断或客户端报错** - **检查HTTP版本**：确保使用HTTP/1.1（HTTP/1.0不支持分块）。在代理配置中添加： ```nginx proxy_http_version 1.1; ``` - **检查上游响应头**：上游服务器可能错误地关闭连接。通过`curl -v`检查响应头是否包含`Transfer-Encoding: chunked`。 - **问题3：Nginx日志报错“upstream sent invalid chunked response”** - **原因**：上游发送的分块数据格式错误（如块大小标识不符规范）。 - **解决**： 1. 检查上游应用生成分块的逻辑（如自定义脚本）。 2. 临时禁用Nginx的分块验证（不推荐）： ```nginx chunked_transfer_encoding off; # 强制Nginx忽略上游分块，转为缓冲模式 ``` - **问题4：性能问题（高负载下分块传输慢）** - **优化建议**： - 开启`tcp_nopush`与`tcp_nodelay`： ```nginx tcp_nopush on; # 累计一定数据再发送，减少小包 tcp_nodelay on; # 禁用Nagle算法，降低延迟 ``` - 调整输出缓冲区大小： ```nginx output_buffers 2 1m; # 每个连接2个缓冲区，每个1MB ``` ### 4. **调试工具** - **curl命令**：验证分块是否生效： ```bash curl -v http://your-domain.com ``` 检查响应头中是否有`Transfer-Encoding: chunked`。 - **Nginx日志**：在`http`块中增加日志格式以记录传输编码： ```nginx log_format chunked_log '$remote_addr - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_transfer_encoding"'; access_log /var/log/nginx/access.log chunked_log; ``` ### 5. **高级场景：动态内容的分块** - **Lua脚本生成分块响应**（需安装`ngx_http_lua_module`）： ```nginx location /dynamic { content_by_lua_block { ngx.header['Transfer-Encoding'] = 'chunked' ngx.flush(true) -- 立即发送响应头 for i = 1, 10 do ngx.print(string.format("Chunk %d\n", i)) ngx.flush(true) -- 发送当前块 end } } ``` ### 总结 Nginx默认支持响应分块，但在代理或静态文件场景下可能需要显式配置。关键点包括：确保使用HTTP/1.1、按需关闭缓冲、验证上游分块格式正确性。通过`curl`和Nginx日志可快速定位问题。 §§相关问题§§ 1. 如何在Nginx中配置HTTP/2并兼容分块传输？ 2. 分块传输与WebSocket在Nginx中的配置有何异同？ 3. 如何优化Nginx处理大文件分块传输的性能？</think>### Nginx 响应分块（Response Chunking）配置与故障排除 响应分块（Chunked Transfer Encoding）是 HTTP/1.1 的核心特性，允许服务器将响应分成多个"块"逐步发送，无需预先知道完整响应大小。Nginx 默认支持该特性，但在特定场景下需要配置优化。以下是完整解决方案： --- #### 一、响应分块的核心机制 1. **工作原理**： - 服务器将响应拆分为多个带长度前缀的块：`[长度]\r\n[数据]\r\n` - 以 `0\r\n\r\n` 标记响应结束 - 响应头需包含：`Transfer-Encoding: chunked` ```nginx # 示例响应（通过 curl -v 查看） HTTP/1.1 200 OK Transfer-Encoding: chunked 5\r\n Hello\r\n 6\r\n World!\r\n 0\r\n\r\n ``` 2. **适用场景**： - 动态生成内容（如实时日志、API流式响应） - 大文件下载（减少内存占用） - 服务器到客户端的实时数据推送 --- #### 二、关键配置指令 在 `nginx.conf` 的 `http`、`server` 或 `location` 块中添加： ```nginx # 启用分块传输（默认开启，无需显式设置） chunked_transfer_encoding on; # 优化缓冲区（防止分块中断） proxy_buffering off; # 关闭代理缓冲 fastcgi_buffering off; # 关闭FastCGI缓冲 gzip off; # 如需分块压缩需特殊处理 # 设置分块大小（可选） output_buffers 2 1m; # 每个连接2个缓冲区，每块1MB # 保持连接活跃 keepalive_timeout 300; proxy_http_version 1.1; # 强制HTTP/1.1 ``` --- #### 三、常见故障排除 1. **分块响应被缓冲**（内容不实时）： - **现象**：客户端收到完整响应而非流式数据 - **解决**： ```nginx location /stream { proxy_pass http://backend; proxy_buffering off; # 关键！ proxy_cache off; # 关闭缓存 tcp_nodelay on; # 禁用Nagle算法 } ``` 2. **分块中断/连接关闭**： - **原因**：上游服务器未正确实现分块 - **检测**： ```bash curl -v http://yourserver > /dev/null # 检查是否出现 "Connection reset by peer" ``` - **解决**： - 验证后端应用是否支持分块（如Node.js需`res.write()`分段发送） - 添加错误捕获： ```nginx proxy_intercept_errors on; error_page 500 502 503 504 =200 /chunked_error; ``` 3. **分块响应头缺失**： - **强制添加头**： ```nginx add_header Transfer-Encoding chunked always; ``` 4. **Gzip与分块冲突**： - **现象**：开启gzip时分块失效 - **解决**（二选一）： ```nginx gzip off; # 方案1：关闭压缩 # 方案2：动态压缩（需Nginx≥1.7.11） gzip on; gzip_proxied any; gzip_types *; ``` --- #### 四、性能优化参数 ```nginx http { # 提高分块传输效率 tcp_nopush on; # 合并小包发送 tcp_nodelay on; # 禁用延迟ACK sendfile on; # 零拷贝传输 # 连接超时控制 client_body_timeout 12; client_header_timeout 12; send_timeout 10; # 分块内存管理 output_buffers 4 256k; # 缓冲区数量*大小 postpone_output 1460; # 最小发送字节 } ``` --- #### 五、测试与验证 1. **配置检查**： ```bash nginx -t -c /etc/nginx/nginx.conf # 验证配置文件[^1][^2] ``` 2. **实时流测试**： ```bash # 使用curl测试分块响应 curl -v -N http://yourserver/stream-endpoint # 使用telnet手动验证 telnet yourserver 80 GET / HTTP/1.1 Host: yourserver ``` 3. **日志监控**： ```nginx log_format chunk_log '$remote_addr - $chunked'; access_log /var/log/nginx/chunk.log chunk_log; ``` --- #### 六、特殊场景处理 1. **代理WebSocket**： ```nginx location /ws { proxy_pass http://backend; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; chunked_transfer_encoding off; # WebSocket需关闭分块 } ``` 2. **HTTP/2 兼容**： - HTTP/2 使用帧(frame)而非分块 - 无需特殊配置，Nginx 自动转换 > 通过以上配置，98%的分块问题可解决。若仍失败，检查SELinux状态[^4]：`setenforce 0` 或修改 `/etc/selinux/config`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值