Unicode & Utf8

最新推荐文章于 2023-03-08 16:54:54 发布

zz_daisy

最新推荐文章于 2023-03-08 16:54:54 发布

阅读量151

点赞数

CC 4.0 BY-SA版权

分类专栏：零碎知识点文章标签：字符编码

本文链接：https://blog.youkuaiyun.com/zz_daisy/article/details/83615596

零碎知识点专栏收录该内容

4 篇文章

订阅专栏

本文深入探讨了Unicode编码的必要性和其面临的挑战，详细解释了UTF-8作为一种Unicode实现方式，如何通过变字节编码规则解决Unicode的存储效率问题，并阐述了UTF-8与ASCII、GBK等编码的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Unicode

针对不同的语言采用不同的编码，有可能导致冲突与不兼容性，如果我们打开一份字节序文件，如果不知道其编码规则，就无法正确解析其语义，这也是产生乱码的根本原因。有没有一种规则是全世界字符统一的呢？当然有，Unicode就是一种。为了能独立表示世界上所有的字符，Unicode采用4个字节表示一个字符,这样理论上Unicode能表示的字符数就达到了2^31 = 2147483648 = 21 亿左右个字符，完全可以涵盖世界上一切语言所用的符号。
我们以汉字”微信“两字举例说明：

微 <-> \u5fae <-> 00000000 00000000 01011111 10101110

信 <-> \u4fe1 <-> 00000000 00000000 01001111 11100001

可以看出，Unicode对所有的字符编码均需要四个字节，而这对于拉丁字母或汉字来说是浪费的，其前面三个或两个字节均是0,这对信息存储来说是极大的浪费。另外一个问题就是，如何区分Unicode与其它编码这也是一个问题，比如计算机怎么知道四个字节表示一个Unicode中的字符，还是分别表示四个ASCII的字符呢？

以上两个问题，困扰着Unicode，让Unicode的推广上一直面临着困难。直至UTF-8作为Unicode的一种实现后，部分问题得到解决，才得以完成推广使用。

2. UTF-8

UTF-8是Unicode的一种实现方式，而Unicode是一个统一标准规范，Unicode的实现方式除了UTF-8还有其它的，比如UTF-16等。
UTF-8规则：

对于单字节字符，字节的第一位为0，后7位为这个符号的Unicode码，所以对于拉丁字母，UTF-8与ASCII码是一致的。
对于n字节(n>1)的字符，第一个字节前n位都设为1，第n+1位为0，后面字节的前两位一律设为10，剩下没有提及的位，全部为这个符号的Unicode编码。

举例来说，’微’的Unicode是’\u5fae’，二进制表示是”00000000 00000000 01011111 10101110“，其取值就位于’0000 0800-0000 FFFF’之间，所以其UTF-8编码为’11100101 10111110 10101110’ （加粗部分为固定编码内容）

通过以上简单规则，UTF-8采取变字节的方式，解决了我们前文提到的关于Unicode的两大问题。同时，作为中文使用者需要注意的一点是Unicode(UTF-8)与GBK，GB2312这些汉字编码规则是完全不兼容的，也就是说这两者之间不能通过任何算法来进行转换,如需转换，一般通过GBK查表的方式来进行。