http中不可靠的Accept-Encoding

最新推荐文章于 2024-08-16 19:58:36 发布
最新推荐文章于 2024-08-16 19:58:36 发布
阅读量2.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： header windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dr_freedom/article/details/5457651
本文分享了一次处理网站友情链接检测过程中遇到的问题：部分网站返回gzip压缩数据而非预期的未压缩数据。文中介绍了如何通过监测http请求和响应头来解决这一问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前几天写了一个检测友情链接的程序，有个网站偶尔出现误报，后来查了一下历史数据，发现这个网站返回的数据有时是压缩后的数据。
将程序下载到windows下用Fiddler监测了http的request、response header


在我传的request header中标明Accept-Encoding: identity可返回的数据还是gzip压缩后的数据。看来无论是否传递了Accept-Encoding还是要对response的Content-Encoding进行监测。对request header不要过分信任！

为什么HTTP协议不安全？如何解决？
AI天才研究院
09-08 1781
作者：禅与计算机程序设计艺术 1.简介 HTTP协议为什么不安全？ HTTP（Hypertext Transfer Protocol）即超文本传输协议，是互联网上应用最广泛的协议之一。它定义了客户端浏览器与服务器之间的通信规则，使得它们可以从万维网
HTTP Accept简介
最新发布
闲人
05-28 782
HTTP协议是一个客户端和服务器之间进行通信的标准协议，它定义了发送请求和响应的格式。而HTTP Accept是HTTP协议中的一个HTTP头部，用于告诉服务器请求方所期望的响应格式。这些格式可以是媒体类型、字符集、语言等信息。HTTP Accept由若干元素组成，每个元素包含三个信息：媒体类型（MIME类型）、可选的参数和参数值。通常，HTTP Accept头部是由浏览器在发送请求时自动添加进去的。服务器则根据Accept头部所指定的格式，返回最匹配的响应。
requests请求时，遇到的Accept-Encoding问题
锅炉房刘大爷的博客
01-27 2271
在使用requests请求链接的时候，发现请求得到的内容总是一堆乱码： 此时请求的headers里的Accept-Encoding是这样写的： headers = { 'Accept-Encoding': 'gzip, deflate', 'User-Agent': str('Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0') } 查看目标
WEB漏洞-关闭不安全的HTTP方法
踮脚敲代码
12-19 7055
一.测试过程 通过手工测试，站点启动了不安全的HTTP方法漏洞，详细测试如下： OPTIONS /main/login HTTP/1.1 Host: xxx.com User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language
winhttp 请求头加上Accept-Encoding: deflate, gzip后该如何解压，不加会出现不可识别的乱码
12-20 706
hRequest = OpenRequest(hConnect, L"GET" ..... //自动判断gzip，如果压缩了，就会自动解压 DWORD dwOption = WINHTTP_DECOMPRESSION_FLAG_GZIP; DWORD dwL = sizeof(dwOption); if (!WinHttpSetOption(hRequest, WINHTTP_OPTION_DECOMPRESSION, &dwOption, dwL)) { ...
HTTP相关杂谈
weixin_43927148的博客
04-08 1632
http相关杂谈
HTTP 协议中的数据压缩 Accept-Encoding Content-Encoding
小楼一夜听春雨，深巷明朝卖杏花
06-19 3019
是提高 Web 站点性能的一种重要手段。对于有些文件来说，高达 70% 的压缩比率可以大大减低对于带宽的需求。随着时间的推移，压缩算法的效率也越来越高，同时也有新的压缩算法被发明出来，应用在客户端与服务器端。在实际应用时，web 开发者不需要亲手实现压缩机制，浏览器及服务器都已经将其实现了，不过他们需要确保在服务器端进行了合理的配置。
HTTP header整理 HTTP 请求头（Accept-Encoding，User-agent，Referer）
ShenZ的博客
08-20 2654
HTTP header Accept-Encoding Accept-Encoding 会将客户端能够理解的内容编码方式——通常是某种压缩算法——进行通知（给服务端）。 语法 gzip 表示采用 Lempel-Ziv coding (LZ77) 压缩算法，以及32位CRC校验的编码方式。 compress 采用 Lempel-Ziv-Welch (LZW) 压缩算法。 deflate 采用 zlib 结构和 deflate 压缩算法。 br 表示采用 Brotli 算法的编码方式。 identit
http Accept-Encoding “gzip,deflate,br“ qt c++ 解码
zhangyihu321的专栏
08-16 524
如果您使用的是较早的 Qt 版本，您可能需要使用 `QZBzipReader` 类或其他方法来解压数据。根据您提供的信息，看起来您正在使用 Qt C++ 处理 HTTP 请求，并需要解码服务器返回的压缩数据。1. 首先，确保您的 HTTP 请求头中包含了 `Accept-Encoding: gzip,deflate,br`，这表明客户端可以接受这些压缩方式。3. 确保在使用 `QCompressor` 之前检查压缩方法，因为它不能用于解压 Brotli 压缩的数据。// 没有压缩或未知的压缩方式。
golang http请求Accept-Encoding:gzip未解压问题
shumoyin的博客
10-27 3683
文章目录1. 问题描述2. 代码示例 1. 问题描述 golang在使用net/http发送http请求时，如果请求头中包含Accept-Encoding: gzip，且请求服务支持gzip压缩，那么在解析请求返回值时，需要手动解压 2. 代码示例 package test import ( "bytes" "compress/gzip" "fmt" "github.com/pkg/errors" "io" "io/ioutil" "net/http
区分Transfer-Encoding,TE,Content-Encoding,Accept-Encoding四个首部字段
swt369的博客
09-05 3938
关于Transfer-Encoding,TE,Content-Encoding,Accept-Encoding四个首部字段的区分。
Android 启动 Service(startservice和bindservice) 两种方式的区别
09-03
andrid service 两种启动方式：第一种startservice，第二种bindservice，大家对这两种启动方式的区别了解吗，下面跟着小编一起学习吧
HTTP的Accept-Encoding
weixin_33829657的博客
02-14 2710
2019独角兽企业重金招聘Python工程师标准>>> ...
Accept-Encoding
热门推荐
Ryan Z 的技术日志
10-29 1万+
HTTP Header中Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型的。       常见的有         Accept-Encoding: compress, gzip　　　　　　　　　　　　//支持compress 和gzip类型         Accept-Encoding:　　　　　　　　　　　　　　　　　　　//默认是identity 
HTTP Post请求响应报文乱码（Accept-Encoding：gzip）
zhangwenchao0814的博客
11-16 5647
今天在发送HTTP Post请求时，响应报文有时正常，有时乱码，也不是中文乱码，响应报文整个乱码， 最开始以为是InputStreamReader读取的时候字符编码导致，然后使用utf-8： InputStreamReader isr = new InputStreamReader(is, "utf-8"); 但是还是乱码,然后又想到可能是请求头的字符编码不正确导致，可是请求头也是utf-8,也不是这个 问题导致的，经过抓包发现，响应报文体乱码的请求头比不乱码的报文请求头多个属性：Acc..
Accept-Encoding: gzip,deflate
weixin_34032779的博客
01-17 397
IE和我们的代码使用的HTTP头里面都有这条内容，将这条内容删掉我得到了正确的结果。原因如下： 这条信息代表本地可以接收压缩格式的数据，而服务器在处理时就将大文件压缩再发回客户端，IE在接收完成后在本地对这个文件又进行了解压操作，所以文件内容是正确的。而在我们的代码里是将这些内容直接存入文件，不存在解压缩的过程，所以Size变小，内容也不一样。 细心的人可以发现在，IE在Down某一个比较大一...
HTTP请求头详解
adobe1992
08-05 3104
HTTP由两部分组成：请求和响应。当你在Web浏览器中输入一个URL时，浏览器将根据你的要求创建并发送请求，该请求包含所输入的URL以及一些与浏览器本身相关的信息。当服务器收到这个请求时将返回一个响应，该响应包括与该请求相关的信息以及位于指定URL（如果有的话）的数据。直到浏览器解析该响应并显示出网页（或其他资源）为止。 HTTP请求 HTTP请求的格式如下所示：
后端发送http请求如何将Accept-Encoding设为空
09-25
在后端发送HTTP请求时，如果你想要设置`Accept-Encoding`字段为空，通常是在表示你不希望接收任何压缩的数据，例如gzip、deflate等。这在某些特定场景下可能是必要的，比如服务提供方明确声明不会对响应内容进行压缩...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值