分块编码(Transfer-Encoding:chunked)

本文深入探讨HTTP协议中的分块传输编码(chunked transfer encoding),解释其如何解决持续连接下数据传输边界问题,以及在动态内容生成场景中的优势。文章详细介绍了分块编码的工作原理,包括如何将数据分解为系列块进行传输,以及与Content-Length和Content-Encoding的区别和配合使用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考链接:

HTTP 协议中的 Transfer-Encoding

分块传输编码

一、背景:

    1.持续连接的问题:对于非持续连接,浏览器可以通过连接时否关闭来界定请求或响应实体的边界;而对于持续连接,这种方法显然不奏效。有时,尽管我已经发送完所有数据,但浏览器并不知道这一点,它无法得知这个打开的连接上是否还会有新数据进来,只能傻傻地等了。

    2.用Content-Length解决:计算实体长度,并通过头部告诉对方。浏览器可以通过Content-Length的长度信息,判断出响应实体已结束。

    3.Content-Length引入的新问题:由于Content-Length字段必须真实反映实体长度,但是对于动态生成的内容来说,在内容创建完之前,长度是不可知的。这时候要想准确获取长度,只能开一个足够大的buffer,等内容全部生成号再计算。但这样做一方面需要更大的内存开销,另一方面也会让客户端等更久。

    4.我们需要一个新的机制:不依赖头部的长度信息,也能知道实体的边界----分块编码(Transfer-Encoding:chunked)

二、分块编码(Transfer-Encoding:chunked)

    1.Transfer-Encoding,是一个HTTP头部字段(响应头域),字面意思是[传输编码]。最新的HTTP规范里,只定义了一种编码传输:分块编码(chunked)。

    2.分块传输编码(Chunked transfer encoding)是超文本传输协议(HTTP)中的一种数据传输机制,允许HTTP由网页服务器发送给客户端的数据可以分成多个部分。分块传输编码只在HTTP协议1.1版本(HTTP/1.1)中提供。

    3.数据分解成一系列数据块,并以一个或多个块发送,这样服务器可以发送数据而不需要预先知道发送内容的总大小。

    4.具体方法

        1).在头部加入Transfer-Encoding:chunked之后,就代表这个报文采用了分块编码。这时,报文中的实体需要改为用一系列分块来传输。

        2).每个分块包含十六进制的长度值和数据,长度值独占一行,长度不包括它结尾的CRLF(\r\n),也不包括分块数据结尾的CRLF。

        3).最后一个分块长度值必须为0,对应的分块数据没有内容,表示实体结束。

    5.例子:

        

HTTP/1.1 200 OK
Content-Type: text/plain
Transfer-Encoding: chunked

25\r\n
This is the data in the first chunk\r\n

1C\r\n
and this is the second one\r\n

3\r\n
con\r\n

8\r\n
sequence\r\n

\0\r\n
\r\n

6.Content-Encoding和Transfer-Encoding二者经常会结合来用,其实就是针对Transfer-Encoding的分块在进行Content-Encoding压缩。

 

### 解决 Nginx 502 Bad Gateway 错误并处理 Transfer-Encoding: chunked #### 调整 PHP-CGI 进程配置 当遇到 `Nginx` 报告 `502 Bad Gateway` 错误时,可能是由于 `php-cgi` 进程数不足、PHP 执行时间过长或 `php-cgi` 进程崩溃引起的[^1]。为了防止这些问题发生,可以调整 `php-fpm` 的池设置: ```ini [www] pm = dynamic pm.max_children = 50 pm.start_servers = 5 pm.min_spare_servers = 2 pm.max_spare_servers = 7 request_terminate_timeout = 30s ``` 通过增加最大子进程数量 (`pm.max_children`) 和适当延长请求终止超时时间 (`request_terminate_timeout`) 可以有效减少因资源耗尽而导致的服务中断。 #### 增大头部缓冲区大小 另一个常见原因是 HTTP 请求/响应头过大超过了默认限制,这可以通过修改 `large_client_header_buffers` 参数来解决。对于较大的响应头,建议如下配置[^3]: ```nginx http { ... server { listen 80; server_name *.example.com; # 设置更大的客户端头部缓存空间 large_client_header_buffers 4 16k; location / { proxy_buffer_size 64k; proxy_buffers 32 32k; proxy_busy_buffers_size 128k; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # 处理分块传输编码 proxy_http_version 1.1; proxy_set_header Connection ""; } } } ``` 这里特别注意设置了 `proxy_http_version 1.1` 并清除了连接头字段(`Connection ""`),这样可以让代理服务器支持持久连接以及正确解析带有 `Transfer-Encoding: chunked` 的响应体。 #### 升级 Nginx 版本注意事项 在升级过程中可能会引入新的兼容性问题,比如从较低版本(如 1.20.x)升至较高版本(如 1.23.x),应确保所有依赖项都已更新并且测试环境稳定后再部署到生产环境中[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值