爬虫带着headers获取response出现的错误解决

以爬取狮城BBS为例

当出现这种错误，并确定编码格式为utf-8的时候，把headers中的如下注释掉就OK

 

普通浏览器访问网页，之所以添加：

"Accept-Encoding" = "gzip,deflate"

那是因为，浏览器对于从服务器中返回的对应的gzip压缩的网页，会自动解压缩，所以，其request的时候，添加对应的头，表明自己接受压缩后的数据。

而此代码中，如果也添加此头信息，结果就是，返回的压缩后的数据，没有解码，而将压缩后的数据当做普通的html文本来处理，当前显示出来的内容，是乱码了。

 

转载于:https://www.cnblogs.com/QimiSun/p/10404664.html