中文日志乱码问题
一、编码支持
. ASCII编码:美国信息交换标准代码(American Standard Code for InformationInterchange,简称ASCII)是一种用于信息交换的美国标准代码,它的作用是给英文字母、数字、标点、字符转换成计算机能识别的二进制数规定了一个大家都认可并遵守的标准。
. GB2312编码:适用于汉字处理、汉字通信等系统之间的信息交换
. GBK编码:是汉字编码标准之一,是在 GB2312-80 标准基础上的内码扩展规范,使用了双字节编码
. ANSI是与你使用的windows操作系统的语言有关系的,向windows 7 简体中文版就是GBK(用一个字节表示英文,用两个字节表示一个中文)
. Unicode编码:这是一种世界上所有字符的编码,但是它没有规定的存储方式。Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。
. UTF-8编码:是 Unicode Transformation Format - 8 bit 的缩写, UTF-8 是 Unicode 的一种实现方式。它是可变长的编码方式,可以使用 1~4 个字节表示一个字符,可根据不同的符号而变化字节长度。
二、编码转换
Python内部的字符串一般都是 Unicode编码。
- 代码中字符串的默认编码与代码文件本身的编码是一致的。
- 所以要做一些编码转换通常是要以Unicode作为中间编码进行转换的,即先将其他编码的字符串解码(decode)成 Unicode,再从 Unicode编码(encode)成另一种编码。Gbk存储的字符->decode(“GBK”)->unicode->encode(“utf-8”)
Ø decode 的作用是将其他编码的字符串转换成 Unicode 编码
例如:name.decode(“GB2312”),表示将GB2312编码的字符串name转换成Unicode编码
Ø encode 的作用是将Unicode编码转换成其他编码的字符串
例如: name.encode(”GB2312“),表示将unicode字符串name转换成GB2312编码
Ø进行编码转换的时候必须先知道 name 是那种编码,然后 decode 成Unicode 编码,最后再 encode 成需要编码
Øname 已经就是 Unicode 编码了,那么就不需要进行 decode 进行解码转换了,直接用 encode 就可以编码成你所需要的编码
Ø对中文unicode字符decode会报错。英文字符调用decode方法不会有问题。
u’中文’把数据已经存储为unicode。当用decode(‘gbk’)解码时,就变成非unicode编码(ASCII码)了。当print到屏幕时,把ASCII编码(encode)成(‘gbk’)。但是,ASCII码不支持中文。报错!
英文不报错是因为ASCII码支持英文(python代码)。
三、文件存储和读取的编码
.在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。
.用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件: