Python2.7UTF-8导致中文乱码问题

Python2.7UTF-8导致中文乱码问题解决办法

 

file = open('data.txt','r')

lines = file.readlines()

for line in lines[0:1]:
    print line,
    print line.split()

运行后

0.0200197   1.97691e-005

['0\x00.\x000\x002\x000\x000\x001\x009\x007\x00', '\x001\x00.\x009\x007\x006\x009\x00

这是因为在UTF-16，每个字符占用两个字节。*如果你的字符都是ASCII码，这意味着UTF-16编码看起来像编码一个额外的“\\设备后，每个字符的ASCII码。
要解决这个问题，只需解码数据：

print line.decode('utf-16-le').split()

 

或者用IO或编解码器模块在文件级执行相同的操作：

file = io.open('data.txt','r', encoding='utf-16-le')

这是一种简单化：每个BMP字符占用两个字节；每个非BMP字符变成代理项对，每两个代理人以两字节。

参考：https://stackoverflow.com/questions/19328874/python-read-text-file-with-weird-utf-16-format

转载于:https://my.oschina.net/u/2902720/blog/1492150