编码问题异常处理：UnicodeDecodeError: 'gbk' codec can't...

最新推荐文章于 2024-05-18 18:31:57 发布

weixin_33751566

最新推荐文章于 2024-05-18 18:31:57 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

文章标签：运维 python

原文链接：http://www.cnblogs.com/Gaoqiking/p/10455283.html

本文记录了在Python中遇到的两种UnicodeDecodeError，包括'utf-8'和'gbk'编码问题。解决方案包括：1) 将源文件另存为UTF-8编码；2) 使用chardet库动态检测文件编码并打开。通过设置`errors`参数，可以控制错误处理策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作为编码问题集合：

2）UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 0: invalid start byte

　　从晚上复制的文本以ANSI编码储存为新文件使用以下代码报错

import numpy as np
DATA_PATH = r'C:\Users\Administrator.SC-201605202132\AppData\Local\Programs\Python\Python37\forTest\test.txt'
SENTENSE_NUM = 200000 #要读取的句子数目
X = []
y = []
with open(DATA_PATH,'rt',encoding='utf8') as f:#
    for s in f.readlines():#这里报错
        s = s.strip()
        if not s:
            continue
        tag_index = []
        for i in range(0,len(s)-1):
            c = s[i]
            if c == '|':
                continue
            next_c = s[i+1]
            if next_c == '|':
                tag_index.append(1)
            else:
                tag_index