Python爬虫的一个编码问题

本文介绍了解决Python爬虫在抓取含有中文字符的URL时遇到的UnicodeEncodeError错误的方法。通过使用urllib.parse.quote()对URL中的中文进行转码处理,可以避免在urllib.request.urlopen()调用时出现编码错误。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

今天在爬取“http://news.baidu.com/ns?word=博时杨锐”这个网页的时候,

程序报错:UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range(128)


我以为这是程序编码的问题。

结果根据报错的代码寻找到的结果发现,只有python2.x才会出现这个问题。并且通过函数

import importlib,sys

importlib.reload(sys)

print(sys.getdefaultencoding())

获取我们解释器用的编码确实是utf-8,和网页编码一致

通过单步调试,发现问题出在函数urllib.request.urlopen()

urllib.request.urlopen()打开带有中文的网页会报错。

所以需要先用urllib.parse.quote()对链接中的中文进行处理

root_url = "http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=" + urllib.parse.quote("博时杨睿")
这样,这个问题就解决了。




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值