ANSI、Unicode、UTF-8的那点事儿

最新推荐文章于 2020-11-20 19:05:26 发布

原创最新推荐文章于 2020-11-20 19:05:26 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#编码

计算机原理专栏收录该内容

1 篇文章

订阅专栏

本文深入探讨了ASCII码、ANSI编码、Unicode、UTF系列编码的发展历程及其特点，旨在帮助开发者理解不同字符编码在处理全球语言时的优劣与应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ANSI、Unicode、UTF-8的那点事儿

大千世界，语种繁多，计算机如何表示和处理浩如烟海的字符呢?前辈们解决问题也不可能一步到位，在发展中诞生了多种编码，ASCII码、GB2312、Unicode、UTF-8、UTF-16等，这也造成了我们的困扰。

1、广为人知的ASCII码

ASCII码是基于拉丁字母的一套电脑编码系统。全称为American Standard Code for Information Interchange，美国信息交换标准代码。ASCII第一次以规范标准的型态发表是在1967年。它主要用于显示现代英语，共定义了128个字符，其中96个字符可以显示，其他32个字符为控制字符无法显示。ASCII码每个字符占一个字节，很容易处理也带来了局限。ASCII的局限在于只能显示26个基本拉丁字母、阿拉伯数目字和英式标点符号，因此只能用于显示现代美国英语（而且在处理英语当中的外来词如naïve、café、élite等等时，所有重音符号都不得不去掉，即使这样做会违反拼写规则）。而EASCII（扩展的ASCII）虽然解决了部份西欧语言的显示问题，但对更多其他语言依然无能为力。

2、形形色色的ANSI编码

某些语言文字系统（例如日文）的字符集有非常多的符号。但是一个字节最多只能表示256个字符，这是远远不够的。为了解决ASCII码的局限性，需要扩充ASCII码，以显示各个国家和地区的语言字符。于是不同的国家和地区制定了不同的标准，由此产生了GB2312、BIG5、JIS等各自的编码标准。这些编码都属于ANSI编码，一个字符串中的每个字符都是有1个或者2个字节组成的，并且对ASCII码兼容。需要注意的是在不同的系统下ANSI编码是不同的，例如在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码，所以在中文 windows下要转码成gb2312,gbk只需要把文本保存为ANSI 编码即可。而且不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。因为同一个编码值，在不同的编码体系里代表着不同的字。

3、包罗万象的Unicode

由于ANSI编码各自为阵，同一个文件在不同的系统中打开得到的会是乱码。正是这个原因促使了Unicode的诞生。Unicode是一个很大的集合，将世界上所有的符号都包含其中，现在的规模已经达到100多万个符号。每个符号的编码都是不一样的。这样每个Unicode编码需要4个字节存储。Unicode将纷乱世界全部归一，但也有自身的问题。首先，每个字符需要占用4个字节，对于存储和传输都很消耗资源，其次，它跟现有的ASCII码进行难以兼容。

4、UTF系列

为了解决Unicode的问题，真正的将Unicode运用到实际中，产生了UTF系列编码。UTF的全称是Unicode Transformation Format，即Unicode的转换格式。

4.1、 UTF-8

UTF-8将一些字符编码为1字节，一些编码为2字节，一些编码为3字节，一些编码为4字节。值在0x0080以下的字符压缩为1字节，这对美国使用的字符非常适合，也兼容了ASCII码。值在0x0080和0x07FF之间的字符转换为2字节，这对欧洲和中东地区的语言非常适用。值在0x0800以上的字符都转换为3字节，适合东亚地区的语言。代理对（surrogate pair）为4字节。UTF-8是一种相当流行的编码格式。但在值为0x0800及以上的大量字符进行编码的时候，不如UTF-16高效。

4.2、 UTF-16

UTF-16将每个字符编码为2个字节即16位。Windows使用UTF-16编码，因为全球各地使用的大部分语言中，每个字符很容易用一个16位值来表示，这样一来程序就很容易遍历字符串并计算它的长度。对于少数字符，16位不足以表示，UTF-16支持使用代理，用32位来表示一个字符。由于只有少数应用程序需要表示这些少数字符，所以UTF-16在节省空间和简化编码两者之间提供了很好的折中。