字符集和编码

更新时间：2021-08-29

更新版本：v1.0

一、字符集和编码

1.1 ASCII 码

计算机内部所有信息最终都是一个二进制值。上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。ASCII 码一共规定了128个字符的编码，占用了一个字节的后面7位，最前面的一位统一规定为0。

1.2 Unicode

用于表示世界上所有语言中的所有字符。每一个符号都给予一个独一无二的编码数字，Unicode 是一个很大的集合，现在的规模可以容纳100多万个符号。Unicode 仅仅只是一个字符集，规定了每个字符对应的二进制代码，至于这个二进制代码如何存储则没有规定。

Unicode编码方案:

• UTF-8:变长，1到4个字节
• UTF-16:变长，2或4个字节
• UTF-32:固定长度，4个字节

1.2.1 UTF-8

UTF-8 是目前互联网上使用最广泛的一种 Unicode 编码方式，可变长存储。使用 1 - 4 个字节表示一个字符，根据字符的不同变换长度。编码规则如下:

• 对于单个字节的字符，第一位设为 0，后面的 7 位对应这个字符的 Unicode 码。因此对于英文中的 0 - 127 号字符，与 ASCII 码完全相同。这意味着 ASCII 码的文档可用 UTF-8 编码打开
• 对于需要使用 N 个字节来表示的字符(N > 1)，第一个字节的前 N 位都设 为 1，第 N + 1 位设为0，剩余的 N - 1 个字节的前两位都设位 10，剩下的 二进制位则使用这个字符的 Unicode 码来填充