Python的str和unicode

最新推荐文章于 2024-07-10 15:36:58 发布

转载最新推荐文章于 2024-07-10 15:36:58 发布 · 191 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/shawnplaying/blog/805917

文章标签：

#python

本文详细探讨了Python2与Python3中字符串处理的不同之处，特别是对于中文等多字节字符的编码方式，并通过示例代码展示了str与unicode类型间的转换方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

Python 2和3针对字符串是不一样的。对应关系如下：

Python 2.*	Python 3.*
str	unicode
bytes	str

Python3我没有测试，下面主要谈谈Python2上的编码。

Python2中str代表字符串，unicode你懂得。Python内部主要是使用unicode，所以unicode属于内部使用，str是为了给人阅读。

示例（windows中文版环境）：

>>> sys.version
'2.7.8 (default, Jun 30 2014, 16:08:48) [MSC v.1500 64 bit (AMD64)]'
>>> s='你好'
>>> u=u'你好'
>>> s
'\xc4\xe3\xba\xc3'
>>> u
u'\u4f60\u597d'
>>> print s
你好
>>> print u
你好
>>>

常用的两个方法：

1 str的decode方法。

2 unicode的encode方法。

由于Python内部语言级别使用unicode，所以一个unicode需要编码（encode）变为str，而反过来str是便于人阅读用的，是从unicode经过encode过来的，所以str的decode方法是变回unicode。

例如：

>>> s
'\xc4\xe3\xba\xc3'
>>> print s
你好
>>> u
u'\u4f60\u597d'
>>> print u
你好
>>> s.decode('gbk')
u'\u4f60\u597d'
>>> u.encode('gbk')
'\xc4\xe3\xba\xc3'
>>>

但是：str也有encode方法。而unicode也有decode方法。它们怎么使用呢？

两种情况：

1 字符是英文等单字节字符，那么str的encode方法，与unicode(str)的encode的效果是一样的。即不变。而unicode的decode方法和str(unicode)的decode方法是一样的。

2 字符是多字节字符（例如中文，日语等）。那么str的encode方法和unicode的decode方法都会报错。

>>> s='hello'
>>> s
'hello'
>>> s.encode('gbk')
'hello'
>>> unicode(s,'gbk').encode('gbk')
'hello'

>>> s='你好'
>>> s
'\xc4\xe3\xba\xc3'
>>> print s
你好
>>> s.encode('gbk')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0: ordinal not in range(128)

>>> u=u'hello'
>>> u
u'hello'
>>> u.decode('gbk')
u'hello'
>>> str(u).decode('gbk')
u'hello'

>>> u=u'你好'
>>> u
u'\u4f60\u597d'
>>> print u
你好
>>> u.decode('gbk')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
>>>

所以调用encode和decode方法时必须主要调用者是str还是unicode。

转载于:https://my.oschina.net/shawnplaying/blog/805917