爬虫小问题之以为是编码问题，却是headers中参数问题

最新推荐文章于 2024-04-27 19:30:56 发布

转载最新推荐文章于 2024-04-27 19:30:56 发布 · 194 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/QimiSun/p/10319680.html

文章标签：

#python #爬虫

本文详细解释了HTTP头部字段Accept-Encoding的作用及意义，特别是gzip,deflate的含义。并提供了一种解决方案，即直接移除该头部参数以避免压缩相关的问题。

Accept-Encoding为gzip,deflate的含义

Accept-Encoding是用来设置从服务端返回的数据是否进行gzip压缩(gzip是一种数据格式，默认目前仅使用deflate算法压缩data部分)。
也就是说，如果客户端设置了gzip,deflate，等于告诉服务端，客户端是支持gzip格式的数据解压缩的。
若服务端支持gzip,deflate压缩方式，则客户端收到的数据则为gzip格式压缩的。