http中不可靠的Accept-Encoding

最新推荐文章于 2024-08-16 19:58:36 发布
最新推荐文章于 2024-08-16 19:58:36 发布
阅读量2.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： header windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dr_freedom/article/details/5457651
本文分享了一次处理网站友情链接检测过程中遇到的问题：部分网站返回gzip压缩数据而非预期的未压缩数据。文中介绍了如何通过监测http请求和响应头来解决这一问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前几天写了一个检测友情链接的程序，有个网站偶尔出现误报，后来查了一下历史数据，发现这个网站返回的数据有时是压缩后的数据。
将程序下载到windows下用Fiddler监测了http的request、response header


在我传的request header中标明Accept-Encoding: identity可返回的数据还是gzip压缩后的数据。看来无论是否传递了Accept-Encoding还是要对response的Content-Encoding进行监测。对request header不要过分信任！

为什么HTTP协议不安全？如何解决？
AI天才研究院
09-08 1777
作者：禅与计算机程序设计艺术 1.简介 HTTP协议为什么不安全？ HTTP（Hypertext Transfer Protocol）即超文本传输协议，是互联网上应用最广泛的协议之一。它定义了客户端浏览器与服务器之间的通信规则，使得它们可以从万维网
HTTP Accept简介
最新发布
闲人
05-28 775
HTTP协议是一个客户端和服务器之间进行通信的标准协议，它定义了发送请求和响应的格式。而HTTP Accept是HTTP协议中的一个HTTP头部，用于告诉服务器请求方所期望的响应格式。这些格式可以是媒体类型、字符集、语言等信息。HTTP Accept由若干元素组成，每个元素包含三个信息：媒体类型（MIME类型）、可选的参数和参数值。通常，HTTP Accept头部是由浏览器在发送请求时自动添加进去的。服务器则根据Accept头部所指定的格式，返回最匹配的响应。
requests请求时，遇到的Accept-Encoding问题
锅炉房刘大爷的博客
01-27 2269
在使用requests请求链接的时候，发现请求得到的内容总是一堆乱码： 此时请求的headers里的Accept-Encoding是这样写的： headers = { 'Accept-Encoding': 'gzip, deflate', 'User-Agent': str('Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0') } 查看目标
WEB漏洞-关闭不安全的HTTP方法
踮脚敲代码
12-19 7054
一.测试过程 通过手工测试，站点启动了不安全的HTTP方法漏洞，详细测试如下： OPTIONS /main/login HTTP/1.1 Host: xxx.com User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language
爬虫之accept-encoding坑
zhaojiafu的博客
07-12 4924
说明，对于一些网站，有时候爬取的时候，如果headers中加入这个accept-encoding参数之后会有一些乱码返回，这个时候可以把这个参数去掉，查看是否有些正常的html格式，如果有些正常，还有些乱码，这个时候需要进行一些编码转换即可： if-modified-since 这个参数是403错误，去掉就可以了，我之前写过一个博客，具体这里不解释了。 比如： 我加上全部参数，返回=的是乱码，然后...
RestTemplate请求头accept-encoding导致乱码
AE86的博客
08-10 4576
RestTemplate请求头accept-encoding导致乱码，即使是非中文字符也是乱码返回，文章定位了产生原因及解决方法
HTTP 协议中的数据压缩 Accept-Encoding Content-Encoding
小楼一夜听春雨，深巷明朝卖杏花
06-19 3014
是提高 Web 站点性能的一种重要手段。对于有些文件来说，高达 70% 的压缩比率可以大大减低对于带宽的需求。随着时间的推移，压缩算法的效率也越来越高，同时也有新的压缩算法被发明出来，应用在客户端与服务器端。在实际应用时，web 开发者不需要亲手实现压缩机制，浏览器及服务器都已经将其实现了，不过他们需要确保在服务器端进行了合理的配置。
HTTP header整理 HTTP 请求头（Accept-Encoding，User-agent，Referer）
ShenZ的博客
08-20 2652
HTTP header Accept-Encoding Accept-Encoding 会将客户端能够理解的内容编码方式——通常是某种压缩算法——进行通知（给服务端）。 语法 gzip 表示采用 Lempel-Ziv coding (LZ77) 压缩算法，以及32位CRC校验的编码方式。 compress 采用 Lempel-Ziv-Welch (LZW) 压缩算法。 deflate 采用 zlib 结构和 deflate 压缩算法。 br 表示采用 Brotli 算法的编码方式。 identit
http Accept-Encoding “gzip,deflate,br“ qt c++ 解码
zhangyihu321的专栏
08-16 524
如果您使用的是较早的 Qt 版本，您可能需要使用 `QZBzipReader` 类或其他方法来解压数据。根据您提供的信息，看起来您正在使用 Qt C++ 处理 HTTP 请求，并需要解码服务器返回的压缩数据。1. 首先，确保您的 HTTP 请求头中包含了 `Accept-Encoding: gzip,deflate,br`，这表明客户端可以接受这些压缩方式。3. 确保在使用 `QCompressor` 之前检查压缩方法，因为它不能用于解压 Brotli 压缩的数据。// 没有压缩或未知的压缩方式。
golang http请求Accept-Encoding:gzip未解压问题
shumoyin的博客
10-27 3683
文章目录1. 问题描述2. 代码示例 1. 问题描述 golang在使用net/http发送http请求时，如果请求头中包含Accept-Encoding: gzip，且请求服务支持gzip压缩，那么在解析请求返回值时，需要手动解压 2. 代码示例 package test import ( "bytes" "compress/gzip" "fmt" "github.com/pkg/errors" "io" "io/ioutil" "net/http
区分Transfer-Encoding,TE,Content-Encoding,Accept-Encoding四个首部字段
swt369的博客
09-05 3934
关于Transfer-Encoding,TE,Content-Encoding,Accept-Encoding四个首部字段的区分。
Accept-Encoding 引起乱码的问题
热门推荐
bychjzh的专栏
05-20 1万+
今天，我在模拟浏览器提交HTTP请求的时候，设置了Accept-Encoding: gzip,deflate这个头信息， 结果返回的竟然是一堆乱码。。。T_T，整整把弄了一天才最终找到了问题。 其实这个头信息是告诉服务器客户端所支持的压缩方式，如果没有这行的话，就是告诉服务器， 客户端不支持压缩，要求不压缩直接返回文本。         我的问题也就是出在这，因为设置了Accept-E
winhttp 请求头加上Accept-Encoding: deflate, gzip后该如何解压，不加会出现不可识别的乱码
12-20 706
hRequest = OpenRequest(hConnect, L"GET" ..... //自动判断gzip，如果压缩了，就会自动解压 DWORD dwOption = WINHTTP_DECOMPRESSION_FLAG_GZIP; DWORD dwL = sizeof(dwOption); if (!WinHttpSetOption(hRequest, WINHTTP_OPTION_DECOMPRESSION, &dwOption, dwL)) { ...
Accept-Encoding
Ryan Z 的技术日志
10-29 1万+
HTTP Header中Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型的。       常见的有         Accept-Encoding: compress, gzip　　　　　　　　　　　　//支持compress 和gzip类型         Accept-Encoding:　　　　　　　　　　　　　　　　　　　//默认是identity 
`accept` 是一个 HTTP 请求头字段，用于指定客户端可接受的内容类型
BLOG域名:programb.blog.youkuaiyun.com
01-11 3591
是一个 HTTP 请求头字段，用于指定客户端可接受的内容类型。在 JavaScript 中，可以使用。当然可以，以下是一些关于。
Qt写的http请求类
一尘二的博客
03-31 817
qt写的http请求类 /* Copyright: YiChen Contact email: 317090996@qq.com */ #ifndef YCHTTP_H #define YCHTTP_H #pragma execution_character_set("utf-8") #include <QNetworkReply> #include <QNetworkRequest> #include <QThread> #include <Q
[Qt] Qt实现HTTP请求 [2013-12-18更新]
it_mac的专栏
12-18 3180
- 通过QTcpSocket实现 实现原理：通过tcp socket向Web服务器的80端口发送HTTP请求字符串 /********************************************************* mainwindow.h ***********************************************
后端发送http请求如何将Accept-Encoding设为空
09-25
在后端发送HTTP请求时，如果你想要设置`Accept-Encoding`字段为空，通常是在表示你不希望接收任何压缩的数据，例如gzip、deflate等。这在某些特定场景下可能是必要的，比如服务提供方明确声明不会对响应内容进行压缩...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值