python中解决中文乱码

什么是字符编码

总的来说，字符串的编码都只有两大类：

1. 通用的Unicode编码。
2. 将Unicode转化成的某种类型的编码。如UTF-8、GBH等。

Unicode 被称为统一码、万国码或单一码。它为每种语言中的每个字符设定了统一的并且唯一的二进制编码。
为了节省空间，开发了一些中间格式的字符集。被称为通用转换格式UnicodeTransformation Format(UTF)，常见的有 UTF−8 和 UTF−16。
随着互联网的普及，强烈要求出现一种统一的编码方式， UTF−8 就是在互联
网上使用最广的一种Unicode的实现方式。 UTF−8 最大的一个特点是长度可变，它可以使用1一4个字节表示一个符号，英文字母通常被编为1个字节，汉字通常。被编为3个字节，如表 所示。

字符	ASCII	Unicode	UTF-8
A	01000001	00000000 01000001	01000001
中		01001110 00101101	11100100 10111000 10101101

对于 UTF−8 编码，怎么知道什么时候是1个字节，什么时候是3个字节呢?
其实， UTF−8 的编码规则很简单，只有两条：

1. (1)对于单字节的符号，字节的第1位设为0，后面7位为这个符号的
   Unicode码。因此对于英语字母。 UTF−8 编码和ASCII码是相同的。
2. 对于n字节的符号 (n>1),第1个字节的前n位都设为1，第 n+1 位设为0，后面字节的前两位一律设为10，剩下的没有提及的二进制位全部为这个符号的Unicode码。例如，上述字符A为单字节符号，其 UTF−8 编码字节的第1位是0。而汉字“中”为3个字节符号，第1个字节的前3位都设为1，第1个字节的第4位为。

p