Python编程-字符串的编码转换、存储及乱码问题

转自：http://www.qmailer.net/archives/251.html

Python2（包括Python26、Python27等）的字符串通常包含str、unicode两种类型，通常str的字符串编码方式由源码文件的编码方式决定，目前使用的基本都是UTF-8的编码格式，所以要在py文件的头部指定编码格式：

1	# -*- coding: utf-8 -*-

在Python程序内部，通常使用的字符串为unicode编码，这样的字符串字符是一种内存编码格式，如果将这些数据存储到文件或是记录日志的时候，就需要将unicode编码的字符串转换为特定字符集的存储编码格式，比如：UTF-8、GBK等等，很多时候Python程序员都会遇到乱码问题，相信以下的一些处理方式和技巧能帮助大家解决乱码问题。

unicode到utf-8转换方法：unicodestr.encode(‘utf-8’) ，示例：

1 2	>>> u'中文测试'.encode('utf-8') '\xe4\xb8\xad\xe6\x96\x87\xe6\xb5\x8b\xe8\xaf\x95'

utf-8到unicode转换方法：utf8str.decode(‘utf-8’)，示例：

1 2	>>> '中文测试'.decode('utf-8') u'\u4e2d\u6587\u6d4b\u8bd5'

实际上，在将unicode存储到文本的过程中，还有一种存储方式，不需要将unicode转换为实际的文本存储字符集，而是将unicode的内存编码值进行存储，读取文件的时候再反向转换回来，是采用：unicode-escape的转换方式。

unicode到unicode-escape转换方法：unicodestr.encode(‘unicode-escape’)，示例：

1 2	>>> u'中文测试'.encode('unicode-escape') '\\u4e2d\\u6587\\u6d4b\\u8bd5'

unicode-escape到unicode的转换方法：unicodeescapestr.decode(‘unicode-escape’)，示例：

1 2	>>> '\\u4e2d\\u6587\\u6d4b\\u8bd5'.decode('unicode-escape') u'\u4e2d\u6587\u6d4b\u8bd5'

对于utf-8编码的字符串，在存储的时候，通常是直接存储，而实际上也还有一种存储utf-8编码值的方法，即：string-escape。
utf-8到string-escape的转换方法：utf8str.encode(‘string-escape’)，示例：

1 2 3 4

>>> '中文测试'.encode('string-escape') '\\xe4\\xb8\\xad\\xe6\\x96\\x87\\xe6\\xb5\\x8b\\xe8\\xaf\\x95' >>> print '\\xe4\\xb8\\xad\\xe6\\x96\\x87\\xe6\\xb5\\x8b\\xe8\\xaf\\x95' \xe4\xb8\xad\xe6\x96\x87\xe6\xb5\x8b\xe8\xaf\x95

string-escape到utf-8的转换方法：strescapestr.decode(‘string-escape’)，示例：

1 2 3 4

>>>’\\xe4\\xb8\\xad\\xe6\\x96\\x87\\xe6\\xb5\\x8b\\xe8\\xaf\\x95'.decode('string-escape') '\xe4\xb8\xad\xe6\x96\x87\xe6\xb5\x8b\xe8\xaf\x95’ >>> print '\xe4\xb8\xad\xe6\x96\x87\xe6\xb5\x8b\xe8\xaf\x95' 中文测试

备注：
unicode同时还支持的编码转换包括：

1 2 3

idna raw_unicode_escape utf_8_sig

utf-8、gbk等编码字符串还支持得编码转换包括：

1 2 3 4 5 6 7

base64 quopri bz2 hex unicode_internal uu zlib