UnicodeEncodeError与Python路径操作-优快云博客

用Python进行国际化编码的兄弟对这个错误大抵应该是不陌生的——“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”。根据业内“公认”的鄙视链，恭喜老铁们，大家应该都稳稳的占据了第三顺位……不过窃以为这张插图还未画完，悬揣接下来的应该是遇到了UnicodeEncodeError依然好似无头苍蝇般执拗的误打误撞吧 (￣▽￣)ﾉ哈哈，skr~~~而止，让我们言归正传。

笔者于近期遇到了这样一个bug，曰：一旦datastore name包含了非英文字符，生成support bundle的过程就会失败并报错。ErrorLog中我们再次重逢了这张熟悉的面孔——UnicodeEncodeError: 'ascii' codec can't encode characters in position 22-23: ordinal not in range(128) 都提示到这份儿上了，还有什么可犹豫的，直接……“等等，我明白了，一定是文件链接导致了path没拿对，不能用abspath获取，而是realpath！”呃……发声的这仁兄一如既往的稳定，妥妥的第四顺位，没毛病！

满足你，来看看abspath跟realpath有啥区别吧，尤其是在应对非英文路径上。首先touch一个文件及其link。

$ ll
lrwxrwxrwx  1 test test  Aug 15 03:48 mc -> silva
-rw-rw-r--  1 test test  0 Aug 15 03:46 silva

随后编写一个简易的py测试文件并运行。

#!/usr/bin/env python
#-*- coding:utf-8 -*-

from  os.path import abspath, realpath

print abspath('silva')
print abspath('mc')

print realpath('silva')
print realpath('mc')

结果如下。

$ python path_test.py
/home/rabbitgod/数据/silva
/home/rabbitgod/数据/mc
/home/rabbitgod/数据/silva
/home/rabbitgod/数据/silva

路径都含有中文，无论是abs还是real打印结果都无任何异常，唯一的不同点在于realpath指向了背后的大佬silva而不是abs中的mc。

所以这真的是path的锅么？心情不错，再免费贴个偏方吧：一钱芯片，二两核桃，炖汤。得嘞，在完成了每日三捧哏的routine工作后，让我们来直接尝试fix问题吧，示意代码如下。

output_path = match.group(1)
link_dir = os.path.realpath(os.path.dirname(output_path).encode("utf-8")).decode("utf-8")

bundle_path = os.path.join(link_dir, bundle_name)
os.symlink(output_path.encode("utf-8"), bundle_path.encode("utf-8"))

毫无悬念，问题解决。

面对UnicodeEncodeError这样的问题，尝试总结解决方法如下。

一、在环境变量中，设置PYTHONIOENCODING=utf-8

export PYTHONIOENCODING=utf-8

二、为函数的encoding参数赋值

以python写文件的open方法为例：

f = codecs.open(r’./filepath’, ‘w’, encoding='utf-8')

三、设置标准输出编码

import io , sys

sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding='utf-8')

其实 py2中还提供了另外一个解决办法。

import sys

reload(sys)
sys.setdefaultencoding('utf8')

但是这种方法是不建议使用的，或者说是错误的，为什么呢？官方文档这么解释。

Set the current default string encoding used by the Unicode implementation. If name does not match any available encoding, LookupError is raised. This function is only intended to be used by the site module implementation and, where needed, by sitecustomize. Once used by the site module, it is removed from the sys module’s namespace.

引用 Python 核心开发者Python Unicode 支持的设计者和实现者 Marc-André Lemburg的一段话吧，他曾在某邮件列表中如是回复。（https://www.mail-archive.com/python-dev@python.org/msg44652.html）

The only supported default encodings in Python are:

Python 2.x: ASCII
Python 3.x: UTF-8

If you change these, you are on your own and strange things will
start to happen. The default encoding does not only affect
the translation between Python and the outside world, but also
all internal conversions between 8-bit strings and Unicode.

Hacks like what's happening in the pango module (setting the
default encoding to 'utf-8' by reloading the site module in
order to get the sys.setdefaultencoding() API back) are just
downright wrong and will cause serious problems since Unicode
objects cache their default encoded representation.

Please don't enable the use of a locale based default encoding.

If all you want to achieve is getting the encodings of
stdout and stdin correctly setup for pipes, you should
instead change the .encoding attribute of those (only).

--

Marc-Andre Lemburg
eGenix.com

从此可见，Python 2 唯一支持的内部编码只有 ASCII，更改其默认编码可能会引发各种奇葩问题。在这里他也说了使用 sys.setdefaultencoding() 的方法是不折不扣的错误，正确的方法应该是修改 stdout 和 stdin 的encoding，还请诸位慎之又慎。