Unicode与UTF-8的区别理解_unicode 文件传输-优快云博客

本文链接：https://blog.youkuaiyun.com/sinat_28296297/article/details/77321354

近期用Python读取txt 文件时遇到一些小坑，涉及到文件编码问题。

因此梳理编码中Unicode与常见的UTF-8编码的区别。

先贴总结：

Unicode：

全称Universal Multiple-Octet Coded Character Set”，简称 UCS, 俗称 “unicode“，由国际标准化组织ISO制定，目的是标准化一个字符集：为地球上每一个「字符」分配一个唯一的 ID（学名为码位 / 码点 / Code Point

广义的 Unicode 是一个标准，定义了一个字符集以及一系列的编码规则，即 Unicode 字符集和 UTF-8、UTF-16、UTF-32 等等编码……

UTF-8:

为解决unicode如何在网络上传输的问题，于是面向传输的众多UTF（UCS Transfer Format）标准，即可变长度编码方式出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。设计的出发点是：节省网络传输的代价，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储空间来说是极大的浪费，文本文件的大小会因此大出二三倍，这是难以接受的。

有一个形象的比喻；

用通信理论的思路可以理解为:
unicode是信源编码，对字符集数字化;
utf8是信道编码，为更好的存储和传输。

例子：（来自知乎，侵权删..

你看到的unicode字符集是这样的编码表：

I 0049
t 0074
' 0027
s 0073
  0020
知 77e5
乎 4e4e
日 65e5
报 62a5

每一个字符对应一个十六进制数字。

计算机只懂二进制，因此，严格按照unicode的方式(UCS-2)，应该这样存储：

I 00000000 01001001
t 00000000 01110100
' 00000000 00100111
s 00000000 01110011
  00000000 00100000
知 01110111 11100101
乎 01001110 01001110
日 01100101 11100101
报 01100010 10100101

这个字符串总共占用了18个字节，但是对比中英文的二进制码，可以发现，英文前9位都是0！浪费啊，浪费硬盘，浪费流量。

怎么办？

UTF。

UTF-8是这样做的：

1. 单字节的字符，字节的第一位设为0，对于英语文本，UTF-8码只占用一个字节，和ASCII码完全相同；

2. n个字节的字符(n>1)，第一个字节的前n位设为1，第n+1位设为0，后面字节的前两位都设为10，这n个字节的其余空位填充该字符unicode码，高位用0补足。

这样就形成了如下的UTF-8标记位：

0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
... ...

于是，”It's 知乎日报“就变成了：

I 01001001
t 01110100
' 00100111
s 01110011
  00100000
知 11100111 10011111 10100101
乎 11100100 10111001 10001110
日 11100110 10010111 10100101
报 11100110 10001010 10100101

和上边的方案对比一下，英文短了，每个中文字符却多用了一个字节。但是整个字符串只用了17个字节，比上边的18个短了一点点。

此外，除了UTF-8 通用的传输编码方式外，还有计算机历史原因而存在的一些其他编码方式；

最早计算机在美国使用，因此有ANSI的”Ascii”编码（American Standard Code for Information Interchange，美国信息互换标准代码。用于表示英文文字。

后来，加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128 到255这一页的字符集被称”扩展字符集。

后来，加入汉字编码的“GB2312“。GB2312 是对 ASCII 的中文扩展。

后来，扩展了近20000个新的汉字（包括繁体字）和符号的GBK标准。

再扩展，又加了几千个新的少数民族的字，GBK扩成了GB18030。