python脚本判断文件字符集参数的选择

最新推荐文章于 2024-10-11 19:20:37 发布

原创最新推荐文章于 2024-10-11 19:20:37 发布 · 599 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了解决Python在读取文件时遇到的UnicodeDecodeError的方法，包括如何使用Python脚本判断文件编码，以及如何通过选择合适的编码方式或忽略错误编码的字节来解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

常常在处理文件时，会出现错误如下：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xea in position 626: illegal multibyte sequence

或者其它数据编码出现的报错，比如：

UnicodeDecodeError: 'gb2312' codec can't decode byte 0xea in position 626: illegal multibyte sequence

出现该错误的原因是由于文件中存在无法编译的字节，因为本文写一个python脚本来判断下，对于整个文件的字符集参数选择，是存在部分的不能解码的字节，还是整体都不能解码。

python的标准编码列表地址：链接

# python3
f = open(r"文件路径", "rb")  # 二进制格式读文件
m = 0
s = 0
while True:
    m += 1
    line = f.readline()
    if not line:
        break
    else:
        try:
            line.decode('utf-8')
        except:
            s += 1
            print("第%d行" % (m))
            print(str(line))
print("未能正确编译的行数比例：%.2f"%(s/m))

在编码中选择合适的编码方式来解决这个问题，一般出现较多的情况是GBK和utf-8之间的选择。如果出现错误编码的字节数不重要，对后续处理不影响，可以在decode（）方法中设置第二个参数：