UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX

最新推荐文章于 2024-06-12 10:43:04 发布

路ren甲

最新推荐文章于 2024-06-12 10:43:04 发布

阅读量2.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python爬虫实战文章标签： pythspan idtransmark python

本文链接：https://blog.youkuaiyun.com/qq_28359387/article/details/54974578

在处理从网上抓取的数据时，遇到UnicodeEncodeError：'gbk' codec can't encode character 'xXX'的问题。错误源于print函数对某些Unicode字符的支持限制。为解决中文乱码，需调整CMD窗口的编码或者改变Python默认编码为'gb18030'。

从网上抓取网站写下面这段代码时，发现报UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX 错误

from urllib import request
req=request.Request("https://www.baidu.com")
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:51.0) Gecko/20100101 Firefox/51.0")
resp=request.urlopen(req)
print(resp.read().decode('utf-8'))

查了一下发现了解决办法原来是print()函数自身有限制，不能完全打印所有的unicode字符。

其实print()函数的局限就是 Python默认编码的局限，因为系统是win7的，python的默认编码不是'utf-8',改一下python的默认编码成'utf-8'就行了

import io  
import sys 
from urllib import request
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码
req=request.Request("https://www.baidu.com")
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 1