【Python】文件读取乱码/csv中文字符乱码

Python处理文件编码问题：读取与写入中文字符

最新推荐文章于 2025-09-23 15:04:46 发布

原创

最新推荐文章于 2025-09-23 15:04:46 发布 · 3.4k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了Python在读取和写入文件时遇到的编码问题。对于读取文件时的utf8编码失败，提出了两种解决方案：一是通过第三方库获取文件的正确编码格式进行读取，二是使用正则表达式替换超出编码范围的字符。在写入文件时，若出现中文乱码，原因是缺少特定格式。解决方案是使用内置库以带BOM的编码格式写入CSV文件，确保中文字符正常显示。

Python-读取文件时报utf8编码失败的解决方法

在读取文件时，遇到文件中的字符超出编码格式本身，如：文件中含有一个超出utf8范围内的字符，而其他文件都可以正常以utf8编解码

提供两种解决方案：

1、保留超出编码格式的部分字符

利用chardet模块（第三方库，需安装）获取文件的编码格式，获取文件本身的编码格式解码，这样就可以忽略编码错误
拿到文件的编码格式后，在用指定的格式进行读取，就不容易

# 利用chardet获取文件的编码格式,根据文件本身的编码格式解码，这样就可以忽略编码错误
def get_ecnoding():
    with open(file, 'rb') as f:
        data = f.read()
    encoding = chardet.detect(data).get('encoding')
    return encoding

# 示例
>>> import chardet
>>> with open(r'./.bash_history','rb') as f:
...     data = f.read()
...
>>> chardet.detect(data)
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
>>> chardet.detect(data).get('encoding')
'ascii'

# 拿到文件的编码格式后，在用指定的格式进行读取，就不会报编码错误了

2、利用正则表达式替换所有越界字符

# file_content 是以byte字节码形式读取的文件内容
re.sub(r'([\u0100-\uffff]+)', lamda x:x.group(0).encode().decode('utf8','i

最低0.47元/天解锁文章