python编码问题错误处理

本文详细介绍了在使用Python进行爬虫数据处理时遇到的编码问题,特别是GBK和UTF-8编码冲突的解决方案。通过调整open()函数的参数,如指定encoding='utf-8',以及将TXT文件另存为UTF-8编码,可以有效避免UnicodeEncodeError和UnicodeDecodeError等错误。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在做爬虫后处理语料实现BSBI算法索引程序遇到的问题

python打开或者写入txt时遇到的问题

问题集合:

UnicodeEncodeError: 'gbk' codec can't encode character '\ufeff' in position 0: illegal multibyte sequence

'utf-8' codec can't decode byte 0xc8 in position 0: invalid continuation byte

gbk的问题是在默认的gbk编码方式和文档自身冲突,

open(filename)
open(filename,'w')

改为

open(filename,encoding='utf-8')
open(filename,'w',encoding='utf-8')

utf-8的问题在文档打开写入都可能出现,找到一个很有效的方法;

打开你的txt文档,另存为————底部有个 编码(E):ANSI ————改为utf-8编码即可

 

建议open(filename)后无论是r还是w都加一句encoding='utf-8',并把txt的编码也改为utf-8

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值