scrapy gbk编码解析失败的问题

最新推荐文章于 2022-05-30 11:28:05 发布

转载最新推荐文章于 2022-05-30 11:28:05 发布 · 183 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/dahefuzi/p/7077350.html

文章标签：

#python

在使用Scrapy爬取网易游戏网页时遇到编码失败问题，原文使用的'gbk'编码无法正确解析页面内容。通过调整为'GB18030'编码后，成功解决了中文字符的解析难题。

在使用scrpay 采集网易游戏网页时，遇到了编码失败的问题

http://play.163.com/17/0520/15/CKT0U63D00318PFI.html

code_datas = byte.decode('gbk')  

这里的'gbk'编码解析失败，查询原因得知，中文有三大编码，后面的标准是前面标准的扩展。


GB2312 < GBK < GB18030

将命令换成  code_datas = byte.decode('GB18030')

后解析正常。

转载于:https://www.cnblogs.com/dahefuzi/p/7077350.html