'gbk' codec can't encode character '\xa0' in position 12248: illegal multibyte sequence

最新推荐文章于 2023-06-06 15:47:47 发布

原创

最新推荐文章于 2023-06-06 15:47:47 发布 · 2.7k 阅读

2 ·

CC 4.0 BY-SA版权

在爬取字节流时遇到'gbk' codec无法编码字符的错误。通过分析发现特殊字符`xc2xbb`导致问题，print()函数因系统默认编码非'utf-8'受限。解决方法是修改Python默认编码为'utf-8'。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在网上爬取一些字节流出现了这个问题，明明是utf-8 的解码却出现了 ‘gbk’的错误

def getUrlListOne(url):   
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,'
                      ' like Gecko) Chrome/50.0.2661.94 Safari/537.36'}
    target_req = request.Request(url=url, headers=header)
    target_response = request.urlopen(target_req, timeout=3)
    target_html = target_response.read().decode('utf-8', 'ignore')
    datas = BeautifulSoup(target_html, 'lxml')
    print(datas)

现在打印出现了这个错误。。。。经过在度娘的帮助下发现：
1.字符就是unicode字符，字符串就是