transfer-encoding chunked , Transfer-Encoding 的作用

最新推荐文章于 2024-07-17 10:48:41 发布
最新推荐文章于 2024-07-17 10:48:41 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： http http1.1 Web服务器 文章标签： http chunked Transfer-Encod
原文链接：https://www.jianshu.com/p/ab38eb9ba8cb
本文深入解析HTTP1.1协议中的Transfer-Encoding头，阐述其在数据传输中的作用，特别是在chunked编码方式下如何解决未知长度数据的传输问题。同时对比Content-Encoding，解释两者区别及与Content-Length的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过HTTP传送数据时，有些时候并不能事先确定body的长度，因此无法得到Content-Length的值， 就不能在header中指定Content-Length了，造成的最直接的影响就是：接收方无法通过Content-Length得到报文体的长度， 那怎么判断发送方发送完毕了呢？HTTP 1.1协议在header中引入了Transfer-Encoding，当其值为chunked时, 表明采用chunked编码方式来进行报文体的传输

HTTP 1.1中有两个实体头(Entity-Header)直接与编码相关,分别为Content-Encoding和Transfer-Encoding.
先说Content-Encoding, 该头表示实体已经采用了的编码方式.Content-Encoding是请求URL对应实体(Entity)本身的一部分.比如请求URL为http://host/image.png.gz时,可能会得到的Content-Encoding为gzip.Content-Encoding的值是不区分大小写的,目前HTTP1.1标准中已包括的有gzip/compress/deflate/identity等.


与Content-Encoding头对应,HTTP请求中包含了一个Accept-Encoding头,该头用来说明用户代理(User-Agent,一般也就是浏览器)能接受哪些类型的编码. 如果HTTP请求中不存在该头,服务器可以认为用户代理能接受任何编码类型.

接下来重点描述Transfer-Encoding, 该头表示为了达到安全传输或者数据压缩等目的而对实体进行的编码. Transfer-Encoding与Content-Encoding的不同之处在于:

 

  1. Transfer-Encoding只是在传输过程中才有的,并非请求URL对应实体的本身特性.
  2. Transfer-Encoding是一个"跳到跳"头,而Content-Encoding是"端到端"头.

该头的用途举例如,请求URL为http://host/abc.txt,服务器发送数据时认为该文件可用gzip方式压缩以节省带宽,接收端看到Transfer-Encoding为gzip首先进行解码然后才能得到请求实体.
此外多个编码可能同时对同一实体使用,所以Transfer-Encoding头中编码顺序相当重要,它代表了解码的顺序过程.同样,Transfer-Encoding的值也是不区分大小写的,目前HTTP1.1标准中已包括的有gzip/compress/deflate/identity/chunked等.
Transfer-Encoding中有一类特定编码:chunked编码.该编码将实体分块传送并逐块标明长度,直到长度为0块表示传输结束, 这在实体长度未知时特别有用(比如由数据库动态产生的数据). HTTP1.1标准规定,只要使用了Transfer-Encoding的地方就必须使用chunked编码,并且chunked必须为最后一层编码.任何HTTP 1.1应用都必须能处理chunked编码.
与Transfer-Encoding对应的请求头为TE,它主要表示请求发起者愿意接收的Transfer-Encoding类型. 如果TE为空或者不存在,则表示唯一能接受的类型为chunked.
其他与Transfer-Encoding相关的头还包括Trailer,它与chunked编码相关,就不细述了.

顾名思义,Content-Length表示传输的实体长度,以字节为单位(在请求方法为HEAD时表示会要发送的长度,但并不实际发送.).Content-Length受Transfer-Encoding影响很大,只要Transfer-Encoding不为identity,则实际传输长度由编码中的chunked决定,Content-Length即使存在也被忽略.

关于HTTP Message Body的长度
在HTTP中有消息体(Message body)和实体(Entity body)之分,简单说来在没有Transfer-Encoding作用时,消息体就是实体,而应用了Transfer-Encoding后,消息体就是编码后的实体,如下:

    Message body = Transfer-Encoding encode(Entity body)
如何确定消息体的长度? HTTP 1.1标准给出了如下方法(按照优先级依次排列):
    1, 响应状态(Response Status)为1xx/204/304或者请求方法为HEAD时,消息体长度为0.
    2, 如果使用了非"identity"的Transfer-Encoding编码方式,则消息体长度由"chunked"编码决定,除非该消息以连接关闭为结束.
    3, 如果存在"Content-Length"实体头,则消息长度为该数值.
    3, 如果消息使用关闭连接方式代表消息体结束,则长度由关闭前收到的长度决定. 该条对HTTP Request包含的消息体不适用.


 

http中分块传输解释说明‘Transfer-Encoding‘: ‘chunked‘
我不是码农的博客~~~
05-09 279
当服务器发送HTTP响应时，如果设置 Transfer-Encoding: chunked，表示响应的消息体将以分块（chunk）的形式发送，而不是一次性发送整个消息体。每个分块都有自己的长度(十六进制)，长度信息会在每个分块的开头发送，最后以一个长度为0的分块表示消息体结束。‘Transfer-Encoding’: ‘chunked’ 是HTTP协议中的一个头部字段，它表示一种特殊的消息传输方式，属于元数据（metadata）类型，用于告知接收方消息体（message body）的传输方式。
go语言实现Transfer-Encoding:chunked的数据推送(附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
05-13 80
go语言实现Transfer-Encoding:chunked的数据推送(附完整源码）
Transfer-Encoding chunked C写个解析
ZRXSLYG的博客
05-09 660
#include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> #include <netdb.h> #include <stdio.h> #include <string.h> #include <stdlib.h> #incl...
分块传输编码
轩辕剑仙のBLOG
02-28 1262
转载地址:http://zh.wikipedia.org/wiki/%E5%88%86%E5%9D%97%E4%BC%A0%E8%BE%93%E7%BC%96%E7%A0%81 分块传输编码（Chunked transfer encoding）是超文本传输协议（HTTP）中的一种数据传输机制，允许HTTP由网页服务器发送给客户端应用（ 通常是网页浏览器）的数据可以分成多个部分。分块传
Transfer-Encoding: chunked 的含义
大漠苍狼----不抛弃，不放弃
11-10 671
Transfer-Encoding: chunked 的含义 在用firebug查看服务器的请求时，返回的header都有Transfer-Encoding: chunked，在做实际应用时，好像也 没有多大关系。 试试用socket连接http服务器，看看数据是如何传输的。 [code="java"] Socket s = new Socket("172.16.1....
记录一下transfer-encoding chunked , Transfer-Encoding 的作用
CuiGongZi的博客
07-17 1374
这对于大文件或长时间运行的响应非常有用，因为它允许客户端在接收到部分响应时就开始处理它，而不需要等待整个响应完成。每个chunk都有一个头部，用于指示其大小，然后是一个回车换行（CRLF）分隔符，接着是chunk的实际数据，最后再加上一个CRLF分隔符。当接收到响应时，客户端会按照这个列表中的顺序查找支持的编码方式，并选择第一个支持的方式来解码响应数据。如果客户端不支持任何列出的编码方式，那么它必须放弃解码响应，或者如果有其他备选方式，可以尝试使用备选方式。
php transfer-encoding: chunked,“Transfer-Encoding: chunked” header in PHP
weixin_39600400的博客
03-10 379
问题i want to add Transfer-Encoding: chunked header to the file that i'm outputing (its just generated plain text), but when i add:header("Transfer-Encoding: chunked");flush();the browser doesn't want t...
【CS.CN】优化HTTP传输：揭示Transfer-Encoding: chunked的奥秘与应用
Charlie_Lee_CS的博客
06-08 1626
通过正确使用头，尤其是chunked传输，可以避免一次性传输大量数据导致的传输失败，提高传输稳定性和效率。
http协议进阶之Transfer-Encoding和HttpCore实现详解
08-30
如果想知道Transfer-Encoding和Content-Length的关系，只要反过来问下自己，为什么Transfer-Encoding会有identity和chunked两种，各在什么上下文情景中要用到。 Chunked格式是Transfer-Encoding的一种实现方式，...
upstream sent duplicate header line: “Transfer-Encoding: chunked“
单身狗的清香
02-03 6655
nginx 下载文件失败、空响应体、502
HTTP的传输编码(Transfer-Encoding:chunked)
幽雨雨幽
04-13 3979
HTTP的传输编码(Transfer-Encoding:chunked) 转载自HTTP传输编码增加了传输量，只为解决这一个问题 | 实用 HTTP,本来是将这篇文章收藏在我的有道云笔记的,但是今天复习的时候看着这个标题这尴尬,这里转载一下…... 什么是传输编码? 传输编码在 HTTP 的报文头中，使用Transfer-Encoding首部进行标记，它就是指明当前使用的传输编码。 Transfer-Encoding会改变报文的格式和传输的方式，使用它不但不会减少内容传输的大小，甚至还有可能会...
http 协议 通用信息头 Transfer-Encoding: chunked
px348402717的专栏
10-05 6539
client 向server发送请求与 server向client向返回响应，在消息头当中均可以包含 Transfer-Encoding: chunked 作用：描述消息实体的长度 有什么用： 消息的实体长度在发送之前不方便确定的时候，可以使用此参数，如果方便确定直接使用 Content-Length：就可以了， 怎么样使用： Transfer-Encoding：chunked 针对
Transfer-Encoding:chunked 说明
热门推荐
zzhongcy的专栏
03-27 1万+
参考：http://blog.youkuaiyun.com/wy5761/article/details/17568851 先说解决方法：：：不让服务器返回Transfer-Encoding:chunked，在客户端请求的时候可以使用http 1.0的协议。 通常，HTTP协议中使用Content-Length这个头来告知数据的长度。然后，在数据下行的过程中，Conte
Http 响应头中Transfer-Encoding: chunked
leokelly001的专栏
01-28 6209
在http 的响应头中有时会见到这样的字段：Transfer-Encoding: chunked，这是一种分段传输数据的方式。如果对此格式不了解，直接将响应体以某一编码转换成字符串，就会出现乱码。result = new String(data, "utf-8");data为接受的数据。 分块传输编码（Chunked transfer encoding）是超文本传输协议（HTTP）中的一
HTTP协议中的Tranfer-Encoding：chunked编码解析
牧码人的专栏
06-26 2576
 当不能预先确定报文体的长度时，不可能在头中包含Content-Length域来指明报文体长度，此时就需要通过Transfer-Encoding域来确定报文体长度。    通常情况下，Transfer-Encoding域的值应当为chunked,表明采用chunked编码方式来进行报文体的传输。chunked编码是HTTP/1.1 RFC里定义的一种编码方式，因此所有的HTTP/1.1应用都应当支
header('Transfer-Encoding','chunked')解释
weixin_33878457的博客
09-15 556
在这里，heeder函数，我就不解释了，下面用别人的文章解释一下'Transfer-Encoding','chunked'http://www.cnblogs.com/jhxk/articles/2715848.html一般情况HTTP的Header包含Content-Length域来指明报文体的长度。如： 有时候服务生成HTTP回应是无法确定消息大小的，比如大文件的下载，或...
解释一下HTTP协议中的编码方式，如Chunked Transfer Encoding
长风破浪会有时的博客
03-29 202
同样地，在互联网上，有时候我们要发送的数据很大，不能一次性发送完，所以我们就需要使用Chunked Transfer Encoding，把数据分成一块块的，然后一块一块地发送。而且，每一块数据都会有一个标记，告诉客户端这块数据有多大，这样客户端就知道要接收多少数据，然后把它们组合起来，恢复成原来的大数据。简单来说，Chunked Transfer Encoding就像是我们把一个大东西切分成小块，然后一块一块地送给别人，最后别人再把这些小块组合起来，就能得到原来的大东西了。
HTTP 响应字段 Transfer-Encoding 赋值成 chunked 的作用介绍
2007 年 ~ 2025 年，深耕 SAP 技术 18 年
10-25 940
在 HTTP/1.1 之前，HTTP 协议的响应数据通常是一次性发送的，也就是说，服务器必须把所有的响应数据准备好后，一次性发送给客户端。这种方式的缺点是，如果响应数据很大，或者数据的产生需要花费一定的时间，那么服务器就需要维持一个开放的连接，等待所有数据准备就绪才能发送，这无疑会增加服务器的负担，也会让客户端长时间等待，影响用户体验。块数据是实际的数据内容。客户端收到这些数据后，会根据块大小读取相应的块数据，然后把所有的块数据拼接起来，得到最终的数据 “Hello, World!
java Transfer-Encoding →chunked 是什么意思
最新发布
06-27
<think>我们正在处理一个关于HTTP协议中Transfer-Encoding:chunked的问题，特别是Java环境下的含义和使用场景。根据提供的引用，我们可以总结以下关键点：引用[3]和[4]详细解释了Transfer-Encoding:chunked的作用：-它用于在服务器无法预先确定响应体大小时（例如动态生成内容），将响应分成多个块（chunk）传输。-使用这种编码方式时，响应头中不会包含Content-Length，而是用Transfer-Encoding:chunked代替。-每个块包含一个十六进制表示的块大小，后跟数据，最后以0大小的块结束。引用[2]提到在Java（特别是Spring）中：-当使用contentLength()方法设置内容长度时，如果文件太大或无法预知大小，Spring会自动切换到分块传输。-SpringBoot和Servlet容器通常会自动处理Transfer-Encoding和Content-Length，但在某些情况下需要手动干预。用户的问题集中在Java中，因此我们需要结合Java的Servlet和Spring框架来说明。回答结构：1.解释Transfer-Encoding:chunked的基本含义。2.说明在Java（Servlet/Spring）中的工作原理和自动处理机制。3.列举使用场景。4.可能的手动控制方法（如果需要）。同时，根据系统指令，我们需要生成相关问题。</think>### Java 中 Transfer-Encoding: chunked 的含义与使用场景 #### 1. **核心含义** `Transfer-Encoding: chunked` 是 HTTP/1.1 协议定义的**分块传输编码机制**，用于处理服务器无法预先确定响应体完整大小的场景。其核心特点包括： - **分块结构**：响应体被拆分为多个"块"（chunk），每个块包含十六进制表示的块大小 + 实际数据（例如：`5\r\nHello\r\n`）。 - **结束标识**：以 `0\r\n\r\n` 标记传输结束。 - **无 Content-Length**：响应头中**不会**包含 `Content-Length` 字段，因为总长度在传输前未知[^3][^4]。 #### 2. **在 Java 中的作用** Java 应用（如 Servlet 容器、Spring Boot）自动启用分块传输的场景： - **动态内容生成**：当服务器无法预知响应大小时（如实时数据流、数据库查询结果），自动切换为分块传输。 ```java // Spring Boot 示例：返回大型动态数据 @GetMapping("/stream") public ResponseEntity<StreamingResponseBody> streamData() { return ResponseEntity.ok() .header("Transfer-Encoding", "chunked") // 通常自动添加 .body(outputStream -> { // 边生成数据边写入（无需预知总大小） while (hasData()) { outputStream.write(generateChunk()); } }); } ``` - **性能优化**：避免服务器为计算完整响应大小而等待，减少内存占用和延迟[^2][^4]。 #### 3. **典型使用场景** - **实时数据流**：日志推送、股票行情、实时监控（如 WebSocket 替代方案）。 - **大文件下载**：文件边读取边传输，无需预加载到内存（如视频流）。 - **API 长响应**：生成耗时较长的 API 响应（如复杂报表），客户端可逐步接收数据[^3][^4]。 #### 4. **Java 中的手动控制** 虽然 Servlet 容器（Tomcat/Jetty）和 Spring Boot 通常自动处理分块传输，但可通过以下方式干预： - **强制禁用分块**：明确设置 `Content-Length`（仅当数据大小已知时）。 ```java response.setContentLength(data.length); // 禁用分块传输 ``` - **自定义块大小**：在 `StreamingResponseBody` 中控制每次写入的数据量[^2]。 > **关键区别**： > - `Content-Encoding`（如 gzip）**压缩数据**以减少体积； > - `Transfer-Encoding: chunked` **改变传输格式**以支持流式传输，二者可同时使用[^1][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值