unicode与utf-8

本文深入浅出地介绍了字符编码的发展历程,从ASCII码到Unicode再到UTF-8的演变过程,并详细解释了UTF-8的编码规则及其如何兼容ASCII码。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一直都没有彻底搞明白这个问题。打算花点时间好好弄明白这个问题。

   一个bit 位(二进制位) 可以表示两个状态 ,0和1 。8个bit 位 就是2^8= 256 ,从0到255,表示256种状态,也就是一个字节。



ASCII码 及 unicode 及utf-8 的出现,由于需求的不断扩大,而延伸出来的。

1. ASCII 最早出现,其中包含26个英文字母及一些符号。一共规定了 128个字符。用到了 一个字节的 后7 位。所以ASCII码的第一位都是 0.

2.但是ASCII码仅仅能表示英语,远远不能满足各个国家的文字,为了满足这个需求,就出现了unicode,在ASCII码中,一个字符用一个字节来表示就足够了,但是有的国家的文字,用一个字节是远远不够的,如中文有 10万左右。至少需要2个字节甚至3个字节,256*256 =65536 就才6万多而已。字符是以2进制存取的,计算机翻译成为字符时,需要知道是截取8个bit还是16个bit来翻译呢?这时就需要一个统一的规定,要求所有国家的字符和一些特殊符号,统一用两个字节或3个字节来表示。这时就出现了 utf-8了。

3. utf-8,是一种变长的编码格式,根据不同的字符,用1至4个字节去表示一个符号。


UTF-8的编码规则很简单,只有二条:

1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。

2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值