python读文件出现中文乱码

最新推荐文章于 2025-05-14 18:01:50 发布

转载最新推荐文章于 2025-05-14 18:01:50 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wxiaoli/p/7695290.html

文章标签：

#python #操作系统

本文介绍了处理中文文本时遇到的乱码问题及其解决方案。主要包括两部分：确定文件的编码方式及进行相应的编码转换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

更新：

一个解释更详细和全面的博文：https://www.cnblogs.com/zhangqigao/p/6496172.html

最近开始处理中文文本，读取文件有时候会出现乱码。原因：编码和解码方式不一样。

所以，解决这个问题的方法就是正确地解码，问题拆解为：1、弄清楚待查看文件的编码方式；2、解码。

即：

1、查看文件编码方式：

import chardet
fobj=open(fname,'r')
data=fobj.read()
print chardet.detect(data)['encoding']

2、编码类型转换

python默认使用unicode字符集，默认编码方式utf-8.

str.decode('gbk')    #将gbk编码的字符串转换成unicode编码
str.encode('gbk')    #将unicode编码的字符串转换成gbk编码

附录A：

windows文件默认编码方式与地域有关：微软为了适应世界上不同地区用户的文化背景和生活习惯，在Windows中设计了区域（Locale）设置的功能。每个Locale代表了某个国家或地区的一组设定，包括字符集，数字、货币、时间和日期的格式等。Windows用一个4字节32位二进制值给Locale编号，记作LCID（Locale ID）。它的高16位表示字符的排序方法，一般为0。在它的低16位中，低10位代表某种语言，高4位指定该语言适用的地区。如中文在中国大陆地区和台湾地区有简体和繁体的区分，它们的低10位相同而高4位不同。

Linux文件的默认编码方式可以在终端执行locale命令，查看输出结果中 LC_CTYPE 对应的内容。

附录B：

1981，中国国家标准总局发布GB2312字符集（16位）。

1993 ，国际标准组织发布 unicode 1.1字符集（unicode字符集有多个编码方式，分别是UTF-8，UTF-16，UTF-32和UTF-7。）。

中国国家标准总局发布GB13000.1-93字符集（16位）。扩充GB2312字符集=> GBK(guo biao kuo)字符集（16位）。