关于使用Python3进行网络爬虫的字符问题

lwzswufe

于 2015-09-22 15:43:19 发布

阅读量721

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python3 文章标签： python 网络爬虫编码 utf-8

本文链接：https://blog.youkuaiyun.com/lwzswufe/article/details/48655049

2 篇文章

订阅专栏

本文介绍了使用Python3进行网络爬虫时遇到的编码问题及解决方案。对于含有特殊控制字符的网页，如新浪体育，直接使用utf-8解码会导致错误。文章提供了使用latin-1编码来解决此类问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Python3进行网络爬虫的时候，对于某一些网页，使用utf-8编码是没有问题的。比如：

import urllib.request
url = "https://www.baidu.com/" data = urllib.request.urlopen(url).read()reqstr = data.decode('utf-8')

但是对于某些网页，如新浪，它会使用一些非UTF-8的控制字符（兼容的八位ISO/IEC 8859-1加上了从ISO/IEC 6429定义的从128到159的32个代码，位于0x80-0x9F。）

如果我们使用上述程序去“爬”新浪体育

url = "http://sports.sina.com.cn/"

就会得到如下的错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

这里的 0x8b 就是控制符：PLD，Partial Line Forward（部分行前移）

为了解决这个问题，大家可以使用兼容控制符的ISO-8859-1编码（即latin-1）解决这个问题。

reqstr = data.decode('latin-1')

最后应当注意的是，我们也应该在程序开头申明

# coding:latin-1