本文讲述了作者在抓取网页内容时遇到乱码问题，通过排查发现是由于请求头的Accept-Encoding参数设置为br格式压缩导致的。解决办法是删除该参数，从而成功获取到UTF-8编码的正常数据。
获取到的内容乱码如下：
今天遇到一个网页，爬取到的内容都是这种方块，问号等乱七八糟的乱码，看响应的类型也是utf-8。
想把乱码解码后再编码也失败了，搞得人头大无比，都想张口来句C语言。
苦寻良久，各种方法尝试之后，决定跳出编码的范围，来重新看待问题，果然，没过多久让我找到病症之所在，原来是请求头传递的Accept-Encoding参数请求了br格式的压缩包，这种格式请求的时候不会自动解压，而前面的那个gzip则会自动解压，所以问题就在这里了我们将这个br删掉，就可以得到正常的数据了，完全不用花里胡哨的操作
扫一扫
1096
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
