【Python】文件读取乱码/csv中文字符乱码

Python-读取文件时报utf8编码失败的解决方法

在读取文件时，遇到文件中的字符超出编码格式本身，如：文件中含有一个超出utf8范围内的字符，而其他文件都可以正常以utf8编解码

提供两种解决方案：

1、保留超出编码格式的部分字符

• 利用chardet模块（第三方库，需安装）获取文件的编码格式，获取文件本身的编码格式解码，这样就可以忽略编码错误
• 拿到文件的编码格式后，在用指定的格式进行读取，就不容易

# 利用chardet获取文件的编码格式,根据文件本身的编码格式解码，这样就可以忽略编码错误
def get_ecnoding():
    with open(file, 'rb') as f:
        data = f.read()
    encoding = chardet.detect(data).get('encoding')
    return encoding

# 示例
>>> import chardet
>>> with open(r'./.bash_history','rb') as f:
...     data = f.read()
...
>>> chardet.detect(data)
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
>>> chardet.detect(data).get('encoding')
'ascii'

# 拿到文件的编码格式后，在用指定的格式进行读取，就不会报编码错误了

2、利用正则表达式替换所有越界字符

# file_content 是以byte字节码形式读取的文件内容
re.sub(r'([\u0100-\uffff]+)', lamda x:x.group(0).encode().decode('utf8','i