上一遍文章:http://blog.youkuaiyun.com/chinainvent/archive/2010/05/02/5550438.aspx 提到,utf-8使用三个字节来表示一个汉字(更准确的说,是使用三个字节来表示unicode内码为2048至65535的文字)。
那么,这带来了一个问题。当utf-8使用三个字节来表示一个汉字时,它要求这三个字节的格式为:
1110yyyy 10yyyyxx 10xxxxxx
如果某个字节的前四位满足1110,那么utf-8的解码器,就要求其后的两个字节的前两位都必须是10。若不满足此格式,就会产生解码失败,utf-8解码器使用:0xEF 0xBF 0xBD(这三个字符表示一个“�”)来代替第一个字节,并对第二个字节进行解码,以此类推。
正是因为存在解码失败的可能性,所以当我们误把一个gbk编码的汉字,以utf-8来解码时,就有可能得到“�”字符,即乱码。而且,一旦把gbk误当成utf-8来解码,就有可能把一个汉字的gbk码变成:0xEF 0xBF 0xBD,造成信息的丢失,无法逆向恢复!
在使用java的String类时,这个问题,非常明显:
String org_str = "我"; //假设java环境的内部编码,已经设置为utf-8
byte[] gbk_byte1 = org.getBytes("gbk");
String err_str = new String(gbk_b