os.path.join与中文目录

最新推荐文章于 2023-08-07 18:12:02 发布

weixin_34005042

最新推荐文章于 2023-08-07 18:12:02 发布

阅读量937

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/abcat/p/3389531.html

在Linux环境下使用SublimeText3和Anaconda插件时遇到编码问题，涉及中文目录导致UnicodeEncodeError。通过测试os.path.join的四种情况，发现str与unicode混合时可能出现编码错误。Python2中，中文路径作为bytestream可能导致问题，而在Python3中所有字符串都是unicode处理，减少此类问题的发生。

又是编码的问题

最近在Linux下使用SublimeText3进行Python编码，添加了Anaconda插件。然而在测试一个简单的文件时，出现了插件不工作的问题。分析插件给出的log，发现"UnicodeEncodeError: 'ascii' codec can't encode characters in position 24-25: ordinal not in range(128)"]'t encode characters in position 24-25: ordinal not in range(128)"。因为这个文件是放在一个中文目录下(/home/下载)，因此怀疑是中文路径引起的问题。

做了如下测试：

>>>import os
>>>os.getcwd()
'/home/abcat/\xe9\x9f\xb3\xe4\xb9\x90'
>>>type(os.getcwd())
str
>>>os.path.join(os.getcwd(),u"中文.txt")
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-58-aef0af952f21> in <module>()
----> 1 os.path.join(os.getcwd(),u"中文.txt")

/usr/lib/python2.7/posixpath.pyc in join(a, *p)
     78             path +=  b
     79         else:
---> 80             path += '/' + b
     81     return path
     82 

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 12: ordinal not in range(128)
>>> os.path.join(os.getcwd(),"中文.txt")
'/home/abcat/\xe9\x9f\xb3\xe4\xb9\x90/\xe4\xb8\xad\xe6\x96\x87.txt'

 >>>os.path.join(unicode(os.getcwd(),'utf-8'),u"中文.txt")
u'/home/abcat/\u97f3\u4e50/\u4e2d\u6587.txt'

　　join(arg1,arg2)函数处理路径，会自动根据输入参数的类型进行编码，在编码过程中，会有四种情况发生：

1、str+str，不进行编码处理；

2、str+unicode，会将arg1用defaultencoding进行编码，python2默认的编码是"ascii"，如果arg1包含中文（中文在str中以bytestream表示），则无法使用"ascii"进行编码，出现UnicodeDecodeError错误;

3、unicode+str，同上，只是会用默认编码对arg2进行编码，如果是中文还会出现错误；

4、unicode+unicode，正常。

有时会想，一直使用str表示所有路径不行吗？答案是有时会出问题，至少anaconda（以及它利用的sublimeJEDI）会出现问题。

在Python3中，所有字符串都以unicode统一处理，而Python2中用str表示的中文则被称为bytestream。也就是中文的二进制编码，相同的文件名在不同的平台可能有不同的表示，具体表示方法由sys.getfilesystemencoding()取得。

转载于:https://www.cnblogs.com/abcat/p/3389531.html