python中的编码以及解码问题（中文字符处理以及文件处理的某些注意事项）

        参考文献：

    http://bbs.chinaunix.net/thread-1431029-1-1.html

    http://blog.youkuaiyun.com/devil_2009/article/details/39526713

       http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html

    最近在做一个项目，因为文本处理的内容是中文，所以不得不面对python中文处理所带来的种种困惑。中文处理的问题主要是编码。处理好了编码之后，几乎所有的问题都迎刃而解。

    下面我们从中文字符串和中文文本两个角度来探讨。

   （一）中文字符串编码

首先要明白的是，python里面默认的字符串都是ASCII编码，是string类型，ASCII编码处理中文字符是会出问题的。python的内部编码格式是unicode，在字符串前加‘u’前缀也可直接声明unicode字符串，如 u'hello'就是unicode类型。如果处理的字符串中出现非ascii码表示的字符，要想不出错，就得转成unicode编码了。所以，我们可以利用unicode编码处理中文字符。

但是，通常当我们从文本中读出字符串时，并不确切地知道该字符串string是什么类型。这时，我们可以使用

import chardet 
for i in ['abc123','中国']:
    print i,chardet.detect(i)

#即chardet.detect(string)即可获得string的编码格式。

获取字符串string的编码格式X。当知道编码格式之后，我们可以使用：

（1）将其他编码的字符串转换成unicode编码：使用decode方法，如str = string.decode(X)，表示将X编码格式的字符串string转换成unicode编码str；或使用unicode方法，如str = unicode(string, X)，表示将X编码格式的字符串string转换成unicode编码str。

   （2）将unicode编码转换成其他编码的字符串，如str1 = str.encode('gb2312')，表示将unicode编码的字符串str转换成gb2312编码str1；

 

         
  另外，对一个unicode编码的字符串在进行解码会出错，所以在编码未知的情况下要先判断其编码方式是否为unicode，可以用isinstance(str, unicode)。
 

 
   
    不仅是中文，以后处理含非ascii编码的字符串时，都可以遵循以下步骤：
 
 

      1、确定源字符的编码格式，假设是utf8；
 
 

      2、把处理后字符串用encode()编码成指定格式。
 
 

      3、使用unicode()或decode()转换成unicode编码，如str1.decode('utf8')，或者unicode(str1, 'utf8');
 

   (二)中文文本编码

    源代码文件中，如果有用到非ASCII字符，则需要在文件头部进行字符编码的声明，如下：   

#-*- coding: UTF-8 -*-

         实际上Python只检查#、coding和编码字符串，其他的字符都是为了美观加上的。另外，Python中可用的字符编码有很多，并且还有许多别名，还不区分大小写，比如UTF-8可以写成u8。

        另外需要注意的是声明的编码必须与文件实际保存时用的编码一致，否则很大几率会出现代码解析异常。现在的IDE一般会自动处理这种情况，改变声明后同时换成声明的编码保存，但文本编辑器控们需要小心。

       内置的open()方法打开文件时，read()读取的是str，读取后需要使用正确的编码格式进行decode()。write()写入时，如果参数是unicode，则需要使用你希望写入的编码进行encode()，如果是其他编码格式的str，则需要先用该str的编码进行decode()，转成unicode后再使用写入的编码进行encode()。如果直接将unicode作为参数传入write()方法，Python将先使用源代码文件声明的字符编码进行编码然后写入。

# coding: UTF-8
 
f = open('test.txt')
s = f.read()
f.close()
print type(s) # <type 'str'>
# 已知是GBK编码，解码成unicode
u = s.decode('GBK')
 
f = open('test.txt', 'w')
# 编码成UTF-8编码的str
s = u.encode('UTF-8')
f.write(s)
f.close()

            另外，模块codecs提供了一个open()方法，可以指定一个编码打开文件，使用这个方法打开的文件读取返回的将是unicode。写入时，如果参数是unicode，则使用open()时指定的编码进行编码后写入；如果是str，则先根据源代码文件声明的字符编码，解码成unicode后再进行前述操作。相对内置的open()来说，这个方法比较不容易在编码上出现问题。

# coding: GBK
 
import codecs
 
f = codecs.open('test.txt', encoding='UTF-8')
u = f.read()
f.close()
print type(u) # <type 'unicode'>
 
f = codecs.open('test.txt', 'a', encoding='UTF-8')
# 写入unicode
f.write(u)
 
# 写入str，自动进行解码编码操作
# GBK编码的str
s = '汉'
print repr(s) # '\xba\xba'
# 这里会先将GBK编码的str解码为unicode再编码为UTF-8写入
f.write(s) 
f.close()

           如果我们想要获取中文字符串中的某个汉字，那么我们该使用什么样的方法呢？我们可以先将中文字符串string(设原编码格式为"utf-8")进行解编码str = string.decode("utf-8")，获得unicode编码格式的字符串str，然后使用下标str[i]即可获得相应的中文字符。具体请参考文献http://bbs.chinaunix.net/thread-1431029-1-1.html

         注意：

   1）上文中string.decode("utf-8")这种使用方式，并不会对string进行改变。str=string.decode("utf-8")，str才是处理后的string，str是unicode编码格式。

         2) 执行解码成为unicode编码格式后，仍然能够使用string的部分性质，如下面：

import codecs
read_file = codecs.open("E:\\Files\\data\\train.tsv","r",encoding = 'gbk')
while True:
    line_sentence = read_file.readline().split('\t')[1]
    print(line_sentence)

        3)python 在使用open 打开文件并读取文件内容时，只能读取一次。所以，在进行循环读文件内容之前，可以将文件内容读取出来并存储。

read_sample = codecs.open("E:\\Files\\data\\some_test.txt",encoding='gb18030')
train_content = read_sample.readlines()
while True: