本文介绍了一种常见的Python爬虫开发中遇到的UnicodeEncodeError错误及其解决方案。错误通常出现在处理包含特殊字符的网页内容时，文章提供了具体的代码示例并详细解释了如何通过调整Eclipse IDE的编码设置来避免这一问题。
开发环境：
Eclipse 4.6.3
Python 3.6.2
BeautifulSoup 4.6.0
Requests 2.18.4
content = requests.get(url)
soup=BeautifulSoup(content.text,'html.parser')
print(soup.prettify())
UnicodeEncodeError: 'charmap' codec can't encode characters in position 227-238: character maps to <undefined>
一开始以为只有中文网站会有问题，后来换成英文网站一样有问题，网上查询很多资料，最终发现问题所在。
Eclipse中新建Pydev Module的默认编码是cp1252，更改为UTF-8，重新打开py文件执行就不会报错了。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
