一直都没有彻底搞明白这个问题。打算花点时间好好弄明白这个问题。
一个bit 位(二进制位) 可以表示两个状态 ,0和1 。8个bit 位 就是2^8= 256 ,从0到255,表示256种状态,也就是一个字节。
ASCII码 及 unicode 及utf-8 的出现,由于需求的不断扩大,而延伸出来的。
1. ASCII 最早出现,其中包含26个英文字母及一些符号。一共规定了 128个字符。用到了 一个字节的 后7 位。所以ASCII码的第一位都是 0.
2.但是ASCII码仅仅能表示英语,远远不能满足各个国家的文字,为了满足这个需求,就出现了unicode,在ASCII码中,一个字符用一个字节来表示就足够了,但是有的国家的文字,用一个字节是远远不够的,如中文有 10万左右。至少需要2个字节甚至3个字节,256*256 =65536 就才6万多而已。字符是以2进制存取的,计算机翻译成为字符时,需要知道是截取8个bit还是16个bit来翻译呢?这时就需要一个统一的规定,要求所有国家的字符和一些特殊符号,统一用两个字节或3个字节来表示。这时就出现了 utf-8了。
3. utf-8,是一种变长的编码格式,根据不同的字符,用1至4个字节去表示一个符号。
UTF-8的编码规则很简单,只有二条:
1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。
2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。