计算机中编码,浅谈计算机中的编码

1 Ascii编码

计算机发明之后，最开始利用八个二极管组合出256(2的8次方)种不同的状态。采用前128状态就可以表示英文字符以及一些控制命令，满足当时需求(还有128个状态未使用)。其编码方式称为Ascii编码(American Standard Code for Information Interchange，美国信息互换标准代码)。后来为了便于其他国家使用，将未使用的128个状态来表示新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状。从128到255(从0开始计数)这一页的字符集被称"扩展字符集"。

2 GB2312

GB2312是一套针对中文汉字的编码，也是对 ASCII 的中文扩展。中国将127号之后的奇异符号们直接取消掉，规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节(他称之为高字节)从0xA1用到0xF7，后面一个字节(低字节)从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。

中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 "DBCS"(Double Byte Charecter Set 双字节字符集)。

3 GBK

中国的汉字太多了，法线GB2312还不能满足需求，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字(包括繁体字)和符号。

4 GB18030

将少数文字添加到GBK中，再扩展，GBK 扩成了 GB18030。

5 Unicode

由于全球使用的文字不一样，为了便于统一，国际标谁化组织(ISO)决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码！他们打算叫它"Universal Multiple-Octet Coded Character Set"，简称 UCS, 俗称 "Unicode"。于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，对于Ascii里的那些“半角”字符，Unicode包持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于"半角"英文符号只需要用到低8位，所以其高8位永远是0，因此这种大气的方案在保存英文文本时会多浪费一倍的空间。

但是，Unicode在制订时没有考虑与任何一种现有的编码方案保持兼容，这使得 GBK 与Unicode在汉字的内码编排上完全是不一样的，没有一种简单的算术方法可以把文本内容从Unicode编码和另一种编码进行转换，这种转换必须通过查表来进行。

6 UTF

Unicode如何在网络上传输也是一个必须考虑的问题，于是面向传输的众多 UTF(UCS Transfer Format)标准出现了，顾名思义，UTF8就是每次8个位传输数据，而UTF16就是每次16个位，只不过为了传输时的可靠性，从Unicode到UTF时并不是直接的对应，而是要过一些算法和规则来转换。

UTF-8的编码规则很简单，只有二条：

1)对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2)对于n字节的符号(n>1)，第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

参考资料