Python字符集编码和文件读写

Python字符串编码详解
本文详细介绍了Python中字符串编码的基本概念及应用,包括默认编码设置、常见编码问题解决方法、Unicode编码处理技巧等,并提供了文件读写的编码实践案例。

 这篇文章讲得比较清楚python的字符串编码问题

原文出处:http://hi.baidu.com/yobin/blog/item/894158b575090dcb37d3ca07.html

------------------------------------------------------------------

字符串编码

python中默认编码是ASCII,可以通过以下方式设置和获取:
import sys
print sys.getdefaultencoding()
sys.setdefaultencoding('gbk')
但直到python重新启动后新的默认编码才会生效,我试了一下,setdefaultencoding总是会出错,没有这个属性。用dir看,确实没有,python版本是2.5,不知道是否被取消了。

使用print来输出时,python将内容传递给系统处理,windows会按照系统默认编码来输出。如果包含了中文,就要注意几点。

1 python代码文件的编码
py文件默认是ASCII编码,中文在显示时会做一个ASCII到系统默认编码的转换,这时就会出错:SyntaxError: Non-ASCII character。需要在代码文件的第一行或第二行添加编码指示:
1 # coding=gbk
2 print '中文'

2 字符串的编码
像上面那样直接输入的字符串是按照代码文件的编码来处理的,如果是unicode编码,有以下三种方式:
1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一个内置函数,第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法,将字符串转换成unicode格式,参数指示源字符串的编码格式。
encode也是任何字符串具有的方法,将字符串转换成参数指定的格式。

3 系统的默认编码
对 于中文系统来说,默认的是gbk,gb2312也可以,因为它是gbk的字集。使用print输出时,字符串会被转换成此格式,隐式转换时,是从代码文件 编码格式转换成gbk,默认是ASCII->GBK。考虑上面第二点,如果字符串编码不是ASCII,则隐式转换会出错,需要显式转换,使用 encode方法。如果指定了代码文件格式为gbk,则隐式转换不存在问题。
1 # coding=gbk

3 s = u'中文'
4 print s.encode('gbk')

文件读写

只是ASCII或者gbk编码格式的的文件读写,比较简单,读写如下:
1 # coding=gbk

3 f = open('c:/intimate.txt','r') # r 指示文件打开模式,即只读
4 s1 = f.read()
5 s2 = f.readline()
6 s3 = f.readlines() #读出所有内容

8 f.close()

10 f = open('c:/intimate.txt','w') # w 写文件
11 f.write(s1)
12 f.writelines(s2) # 没有writeline
13 f.close()

f.writelines不会输出换行符。
unicode文件读写:
1 # coding=gbk
2 import codecs

4 f = codecs.open('c:/intimate.txt','a','utf-8')
5 f.write(u'中文')
6 s = '中文'
7 f.write(s.decode('gbk'))
8 f.close()

10 f = codecs.open('c:/intimate.txt','r','utf-8')
11 s = f.readlines()
12 f.close()
13 for line in s:
14     print line.encode('gbk')

 

<think>好的,用户想了解Python字符集编码的相关知识。我需要结合之前的回答提供的引用来组织内容。首先,用户之前问过Python的用途,现在转向字符编码,这可能是因为他们在处理文本数据遇到了问题,比如乱码或者编码错误。 先回顾之前的引用内容,引用1到5都详细介绍了字符编码的基础,包括ASCII、Unicode、UTF-8,以及在Python中的处理方式。用户可能需要从基础概念开始,逐步深入。 用户的问题是关于Python中的字符集编码详解,所以需要结构清晰,点解释。可能需要包括基本概念、Python中的处理方式、常见问题及解决方法,以及代码示例。 要注意引用中的关键点,比如Python中的字符串与字节的区别,ord()chr()的使用,编码声明(如# -*- coding: utf-8 -*-),以及处理文件编码问题。同,引用5提到了Windows的代码页默认编码,这也需要涵盖,特别是不同操作系统下的差异。 用户可能对编码错误处理感兴趣,比如如何处理解码异常,使用errors参数忽略或替换错误字符。此外,实际应用中的最佳实践,比如统一使用UTF-8,也是重点。 需要确保回答包含足够的代码示例,比如字符串编码解码,文件读写,处理异常情况。同,要指出常见错误,比如不指定编码导致的问题,以及解决方法。 还要考虑用户可能的后续问题,例如如何处理不同编码文件,或者网络数据传输中的编码问题,但当前问题需要集中在基础知识上,所以最后的相关问题可以引导到这些方向。 检查是否需要调整结构,确保逻辑流畅,从概念到具体实现,再到常见问题解决方案。同,确保引用正确,比如引用4提到的ASCII示例,引用5关于代码页的内容,都要正确标注来源。 最后,保持语言简洁,用中文解释技术术语,避免过于晦涩,让不同层次的用户都能理解。可能需要对比不同编码方式的区别,比如ASCII、Unicode、UTF-8,以及它们在Python中的表现。</think>### Python字符集编码详解 字符集编码是处理文本数据的基础概念,尤其在Python中涉及字符串操作、文件读写、网络传输等场景尤为重要。以下从**基本概念**、**Python实现机制**、**常见问题处理**三个层面进行详细说明。 --- #### 一、基本概念 1. **字符集Character Set)** 定义字符与数字的映射关系,例如: - **ASCII**:7位编码,涵盖英文字母、数字及基础符号(共128字符)[^4] - **Unicode**:统一字符集,覆盖全球所有语言文字(如UTF-8、UTF-16等是其实现方式)[^5] 2. **编码(Encoding)** 将字符转换为字节序列的规则: - **ASCII**:每个字符占1字节(如 `A` → `0x41`) - **UTF-8**:变长编码(1-4字节),兼容ASCII(如 `汉字` → `0xE6B189E5AD97`)[^5] - **GBK**:中文扩展编码(如 `汉字` → `0xBABAD7D6`)[^5] --- #### 二、Python中的处理机制 1. **字符串与字节的转换** - **字符串(`str`)**:内存中以Unicode形式存储 - **字节(`bytes`)**:二进制数据,需通过编码/解码与字符串互转 ```python # 编码:str → bytes text = "Python编码" encoded = text.encode('utf-8') # b'Python\xe7\xbc\x96\xe7\xa0\x81' # 解码:bytes → str decoded = encoded.decode('utf-8') # "Python编码" ``` 2. **编码声明与默认行为** - 文件头部声明编码(影响解释器解析源码中的字符串): ```python # -*- coding: utf-8 -*- # 指定源码文件编码为UTF-8[^2] ``` - Python 3默认使用UTF-8编码,可通过`sys.getdefaultencoding()`查看[^4]。 3. **常见函数与方法** - `ord()`:获取字符的Unicode码点(如 `ord('A')` → `65`) - `chr()`:将码点转为字符(如 `chr(65)` → `'A'`) - `bytes.decode(errors='ignore')`:忽略解码错误[^3] --- #### 三、常见问题与解决方案 1. **乱码问题** **原因**:编码与解码使用的字符集不一致。 **示例**: ```python # 错误:用GBK解码UTF-8编码的字节 byte_data = "汉字".encode('utf-8') print(byte_data.decode('gbk')) # 输出乱码:姹夊瓧 ``` **解决**:统一编码标准(推荐使用UTF-8)。 2. **文件读写编码错误** **场景**:打开文件未指定编码导致解码失败。 **修复方法**:显式指定`encoding`参数: ```python with open('file.txt', 'r', encoding='utf-8') as f: content = f.read() ``` 3. **处理混合编码数据** **策略**:使用`errors`参数控制错误处理: ```python # 忽略无法解码的字节 data = b'Python\xff\xfe' text = data.decode('utf-8', errors='ignore') # "Python" # 替换错误字符为占位符 text = data.decode('utf-8', errors='replace') # "Python��" ``` --- #### 四、最佳实践 1. **统一使用UTF-8编码**:减少跨平台/跨语言兼容性问题[^5]。 2. **避免隐式转换**:处理二进制数据明确使用`bytes`类型。 3. **测试编码兼容性**:在Windows/Linux环境下验证代码(注意默认代码页差异)[^5]。 --- ### 代码示例:编码转换工具 ```python def convert_encoding(input_file, output_file, from_enc, to_enc='utf-8'): with open(input_file, 'r', encoding=from_enc) as f_in: content = f_in.read() with open(output_file, 'w', encoding=to_enc) as f_out: f_out.write(content) print(f"Converted {input_file} from {from_enc} to {to_enc}") # 示例:将GBK文件转为UTF-8 convert_encoding('data_gbk.txt', 'data_utf8.txt', 'gbk') ``` --- ### 相关问题 1. 如何在Python中检测文件编码格式? 2. 处理网络请求返回的字节数据如何避免编码错误? 3. 为什么在Windows系统下打开文本文件容易产生乱码?如何解决? [^1]: 引用自“Python字符编码详解” [^2]: 引用自“Python字符编码使用ASCII编码储存对么” [^4]: 引用自“Python 字符编码详解” [^5]: 引用自“字符集字符集编码详解”
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值