【HTTP】WireShark中获取Content-Encoding: gzip时的响应内容

最新推荐文章于 2024-07-10 10:01:08 发布
转载 最新推荐文章于 2024-07-10 10:01:08 发布 · 560 阅读 · 0
文章标签：

#python #爬虫

本文详细介绍如何使用WireShark捕获并解析GZIP压缩的HTTP响应数据，通过具体步骤指导读者从抓包到成功解压的过程，适用于网络数据解析初学者。

GZIP格式

详见：http://blog.youkuaiyun.com/jison_r_wang/article/details/52068607 表述的很清楚

关键：GZIP头以0x1F8B开始

 

用WireShark获取压缩的响应数据

我的WireShark版本号为：v1.12.4

1.选择一个包，右键Follow TCP Stream

2.选择下方的Raw

3.点击Save As 保存为xxx.zip

4.选择Hex Dump,查找0x1F8B的位置

5.用Notepad++打开xxx.zip,删除刚才0x1F8B前面的内容，保存

注意：不要用UltraEdit，我用UltraEdit时打开的内容会发生变化，原本是0x00的会变成0x20

6.右键xxx.zip解压，然后就可以打开看到具体内容了

 

自动解压缩pcap中chunk编码和gzip压缩的数据
村中少年的专栏
05-01 1513
自动解压缩pcap中chunk编码和gzip压缩的数据
c语言解压http中的gzip文件
opkg list
05-24 5371
这是一篇流水账，记录前两天在解决http中解压gzip数据流程。（写完这篇就可以做其他工作了~~）目的：c语言http包中解析gzip数据一、 tcpdump抓包，这条数据包是我试用某app时收到的包，咱们先是用wireshark解析。图上的标号解释下：1.Content-Encoding: gzip\r\n   指明数据包是gzip；2.Okhttp走的并不是原生的http请求，因此他在head...
Wireshark使用小技巧1 -- 查看http gzip压缩内容
每天分享一个编程小知识
06-17 1316
有问题的朋友可以进技术交流群获取（先加我微信，备注加群）。http协议为了提高传输效率，会对传输内容进行压缩，比如gzip压缩。我们在用wireshark抓取http报文时，如果想查看gzip压缩的内容，该怎么看呢？在尝试了第一种方法后，其实我发现还有一种更简单的方法，在第二步骤中选中一个http报文（一定要Protocol这一列中显示http的报文），过滤一条http流。可以看到，除了左上角的logo，都能正常显示，因为这个logo是一个图片资源，是在另外一次http请求/响应中传输的，所以看不到。
查看wireshark抓包中含有gzip内容的方法
xwj528的专栏
03-09 1万+
移动APP或者一些网页的http为了提高效率，节约流量，包体经常采用压缩方式传输， 判断是否采用压缩最直观的可以从抓包的request和response头看到，如下图的content-encoding就可以知道了。 那么对于抓到经过压缩的包怎么看呢？在wireshark上看到的是一堆乱码，下面就介绍通过UE编辑后进行查看的方法： 1.      下载并按照UE （http://p
最新Wireshark查看包中gzip内容
DBA大董的博客
07-10 3408
虽然是很简单的事情，但是网上查到的查看gzip内容的方法基本都是保存成zip文件，然后进行二进制处理。其实现在最新版本的Wireshark已经支持获取gzip内容了。选中HTTP协议，右键选择[追踪流]->[HTTP Stream]在弹出窗口中，已经可以看到gzip中内容被提取出来了。
Wireshark抓包：详解Http协议--响应报文_wireshark中如何查询返回ok200的http
2401_84564150的博客
05-17 1499
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！304：目前已经访问过了，是存在缓存的。响应报文：响应行+响应头部+空一行（表示响应头部结束了）+响应正文（服务器要真正给你返回的一个页面内容）。4XX–客户端的问题导致的错误。客户端输入的网址错误，导致页面不存在，返回404。HTTP/1.1 200 OK：这里的ok是对前面状态码的解释。1XX–接收的请求正在被处理（网络特别慢的时候才能看到）。
HTTP协议中的Content-Encoding
zhangge3663的博客
10-31 9508
HTTP协议中的Content-Encoding 主要内容     1.Content-Encoding是什么     2.内容编码格式gzip和deflate Content-Encoding是什么 Accept-Encoding和Content-Encoding是HTTP中用来对采用哪种编码格式传输正文进行协定的一对头部字段。 工作原理如下:     1.首先浏览器(也就是客...
接口原始的Content-Type: application/octet-stream，Accept-Encoding: gzip, deflate, br，beanshell脚本应该怎么改
08-26
我们正在解决的是使用BeanShell脚本进行GZIP压缩请求体后出现乱码的问题，并且需要适配特定的Content-Type和Accept-Encoding。 根据之前的分析，乱码的主要原因是压缩后的字节数组被错误地转换为字符串（使用了不...
为什么我配置了请求，但是响应头里面没有Transfer-Encoding: chunked
03-08
好的，我现在需要解决用户的问题：为什么配置了Nginx的chunked_transfer_encoding on，但响应头里没有Transfer-Encoding: chunked。首先，我得回忆一下Nginx的相关配置和HTTP协议的要求。 用户已经设置了chunked_...
POST /api/index/index HTTP/1.1 signature: fd84c9dc7395f83f4710c201d026b9d656af0495ba6066ae4e3736e3136ca582 user-agent: Mozilla/5.0 (Linux; Android 15; OPD2413 Build/AP3A.240617.008; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/130.0.6723.58 Safari/537.36 uni-app (Immersed/32.0) Content-Type: application/x-www-form-urlencoded Content-Length: 374 Host: app.tiankuoxxkj.top Connection: Keep-Alive Accept-Encoding: gzip page=1&limit=20&type=0&userId=&age=18%2C61&uid=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpZCI6MzU4Mjg1LCJleHAiOjE3NTY5ODI2MTksImlhdCI6MTc1NjcyMzQxOSwiaXNzIjoiY2hlbmdxaWFuZyIsInN1YiI6InVzZXIgdG9rZW4ifQ.9Zu67eXKmhVedKIg_PPopcl0TMcJ6Fu04JRYmjfGN6M&timestamp=1756813756&random=fCC9asuYDU&huawei_versions=&device_str=android&jsroom=1&update_type=1&update_version=1.0.4&is_encrypt=1
最新发布
09-03
工具如Wireshark或Postman可自动可视化内容。 - 示例：上传文件时，请求体可能包括文本字段和二进制文件数据。 - **application/json**： - 格式：JSON对象，如 `{"key": "value", "array": [1,2,3]}`。 - 分析：...
用了这么久HTTP, 你是否了解Content-Length和Transfer-Encoding ?
草堂笺
09-30 2767
由Content-Length导致的问题引发的一系列思考: 前段时间开发API网关, 使用postman调试时出现了超时的情况, 经排查确定是请求数据被处理后Content-Length与实际不一致导致的问题, 故有此文. 前言 Content-Length, HTTP消息长度, 用十进制数字表示的八位字节的数目. 一般情况下, 很多工作都被框架完成, 我们很少去关注这部分内容, 但少数情况下...
wireshark 抓包实验
iuui11的博客
10-04 3592
ARP包 ARP：完成从IP地址到MAC地址的映射。 主机知道192.168.0.195这个IP地址，但不知道目标的MAC地址是啥，所以发个广播问一问。 然后接下来有个应答，人告诉我192.168.0.195的MAC地址是什么 ICMP包
wireshark提取gzip格式的html
陈贤鹏的博客
07-23 1013
https://blog.youkuaiyun.com/vah101/article/details/44102501
使用Wireshark分析-以太网帧与ARP协议-IP协议-ICMP-UDP协议-TCP协议-协议HTTP-DNS协议
热门推荐
CoutCodes的博客
06-19 3万+
深入理解网络协议，需要观察它们的工作过程并使用它们，即观察两个协议实体之间交换的报文序列，探究协议操作的细节，使协议实体执行某些动作，观察这些动作及其影响。
Python下载文件时出现乱码的解决方法之一：Content-Encoding: gzip
u014209688的专栏
09-04 1万+
之前写过一个简单的爬虫程序，这次想试着再写一个下载固定文件的爬虫程序。 写完之后发现下载的文件，有些是可以正常打开的，而有些是提示了编码错误，用wireshark抓包，过滤出http的包，发现wireshark上显示的数据是没错的。然后又详细看了http数据包的内容。发现有一个"Content-Encoding: gzip"的项，根据之前写爬虫程序时看的教程，大概知道应该是数据被压缩的，所以之前
解决Wireshark抓包跟踪流后http的响应正文乱码
预言家
05-07 1万+
现象： 使用Wireshark抓包，抓出来的响应体是乱码的，切成utf-8也不行 搜了很多帖子 最后发现问题出在请求头Accept-Encoding: gzip, deflate 这里 通过压缩再进行传输的话会减少传输的数据量 浏览器对于从服务器中返回的对应的gzip压缩的网页，会自动解压缩， 而通过代码请求 或是通过Wireshark抓包 没有进行解码就会出现乱码 解决方法： 一、修改请求头Accept-Encoding:* 或是Accept-Encoding:''就可以啦 ...
wireshark导出解码后的报文内容
Hansel的专栏
07-07 2万+
Wireshark可以对抓到的报文进行解码并显示出来，如何把显示的文本内容保存下来以便进行报文内容比对？ 1. 选择 "File" -> "Export" -> "File"， 输入文件名，需要自己加.txt后缀 2. 选择 "Save as Type" 为 "Plain Text" 3. 选中 "Packet Range" 的 "Displayed" 4.选择其他选择，一般我
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值