把gbk的编码按utf-8来解码,可能导致的不可恢复的错误

当GBK编码的汉字被误用UTF-8解码时,可能会出现不可逆的乱码问题。由于UTF-8的字节格式要求,不满足条件的字节会导致解码失败,用特殊字符'�'替换,从而导致信息丢失,无法恢复。在Java中,这种错误解码会导致原始字节数组与解码后的字节数组不一致,进一步证实了信息的不可逆损失。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

上一遍文章:http://blog.youkuaiyun.com/chinainvent/archive/2010/05/02/5550438.aspx 提到,utf-8使用三个字节来表示一个汉字(更准确的说,是使用三个字节来表示unicode内码为2048至65535的文字)。

 

那么,这带来了一个问题。当utf-8使用三个字节来表示一个汉字时,它要求这三个字节的格式为:

1110yyyy 10yyyyxx 10xxxxxx

 

如果某个字节的前四位满足1110,那么utf-8的解码器,就要求其后的两个字节的前两位都必须是10。若不满足此格式,就会产生解码失败,utf-8解码器使用:0xEF 0xBF 0xBD(这三个字符表示一个“�”)来代替第一个字节,并对第二个字节进行解码,以此类推。

 

正是因为存在解码失败的可能性,所以当我们误把一个gbk编码的汉字,以utf-8来解码时,就有可能得到“�”字符,即乱码。而且,一旦把gbk误当成utf-8来解码,就有可能把一个汉字的gbk码变成:0xEF 0xBF 0xBD,造成信息的丢失,无法逆向恢复!

 

 

在使用java的String类时,这个问题,非常明显:

 

String org_str = "我";         //假设java环境的内部编码,已经设置为utf-8

 

byte[] gbk_byte1 = org.getBytes("gbk");

 

String err_str = new String(gbk_b

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值