Python3中urllib的UnicodeDecodeError错误

本文介绍了解决Python3网页抓取中出现的UnicodeDecodeError问题的方法。该问题并非由编码错误引起,而是由于获取的数据被压缩。通过使用zlib库进行解压缩可以有效解决问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在用Python3抓取最简单的网页内容时,出现了这个错误:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

源代码如下:

fp = urllib.request.urlopen(url)
mybytes = fp.read()
text = mybytes.decode('utf8')
fp.close()
print(text)
(1)一开始以为是编码不对,不是utf-8,但试了gb2312和gbk都不行,而且对抓取的网页抓包可以看到确实是utf-8编码,所以排除编码问题

(2)那么可能是代码问题?第一次用urllib这个库,难免出错,但是换了一个同样是utf-8编码的网页url抓取,可以正常运行!所以也排除代码问题。


接下来百度了半天,没有一个找到有用的线索。于是转向不经常用的Google,还是Google大神好,第一条就出现了答案:

Change python byte type to string

原来是抓到的数据被压缩了,并不是字符集编码的问题,使用zlib库进行解压缩即可,做如下修改:
import zlib

fp = urllib.request.urlopen(url)
mybytes = fp.read()
decompressed_data = zlib.decompress(mybytes ,16+zlib.MAX_WBITS)
text = decompressed_data.decode('utf8')
fp.close()
print(text)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值