Java字符编码转换过程说明

======================================================
注：本文源代码点此下载
======================================================

jvm

jvm启动后,jvm会设置一些系统属性以表明jvm的缺省区域。

user.language,user.region,file.encoding等。 可以使用system.getproperties()详

细查看所有的系统属性。

如在英文操作系统(如unix)下,可以使用如下属性定义强制指定jvm为中文环境

-dclient.encoding.override=gbk -dfile.encoding=gbk -duser.language=zh

-duser.region=cn

.java-->.class编译

说明:一般javac根据当前os区域设置,自动决定源文件的编码.可以通过-encoding强制

指定.

错误可能:

1 gbk编码源文件在英文环境下编译,javac不能正确转换.曾见于java/jsp在英文unix

下. 检测方法:写\u4e00格式的汉字,绕开javac编码,再在jvm中,将汉字作为int打印,

看值是否相等;或直接以utf-8编码打开.class文件,看看常量字符串是否正确保存汉

字。

文件读写

外部数据如文件经过读写和转换两个步骤,转为jvm所使用字符。

inputstream/outputstream用于读写原始外部数据,reader/writer执行读写和转换两

个步骤。

1 文件读写转换由java.io.reader/writer执行;输入输出流

inputstream/outputstream处理汉字不合适,应该首选使用reader/writer,如

filereader/filewriter。

2 filereader/filewriter使用jvm当前编码读写文件.如果有其它编码格式,使用

inputstreamreader/outputstreamwriter

3 printstream有点特殊,它自动使用jvm缺省编码进行转换。

读取.properties文件

.propeties文件由properties类以iso8859-1编码读取,因此不能在其中直接写汉字,

需要使用jdk 的native2ascii工具转换汉字为\uxxxx格式。命令行:native2ascii –

encoding gbk inputfile outputfile

读取xml文件

1 xml文件读写同于文件读写,但应注意确保xml头中声明如与文件编码保持一致。

2 javax.xml.saxparser类接受inputstream作为输入参数,对于reader,需要用

org.xml.sax.inputsource包装一下,再给saxparser。

3 对于utf-8编码 xml,注意防止编辑器自动加上\ufffe bom头, xml parser会报告

content is not allowed in prolog。

字节数组

1 使用 new string(bytearray,encoding) 和string.getbytes(encoding)在字节

数组和字符串之间进行转换

也可以用bytearrayinputstream/bytearrayoutputstream转为流后再用

inputstreamreader/outputstreamwriter转换。

错误编码的字符串(iso8859-1转码gbk)

如果我们得到的字符串是由错误的转码方式产生的,例如:对于gbk中文,由iso8859-1

方式转换,此时如果用调试器看到的字符串一般是 的样子,长度一般为文本的字节长

度,而非汉字个数。

可以采用如下方式转为正确的中文:

text = new string( text.getbytes(“iso8859-1”),”gbk”);

jdbc

转换过程由jdbc driver执行,取决于各jdbc数据库实现。对此经验尚积累不够。

1 对于oracle数据库,需要数据库创建时指定编码方式为gbk,否则会出现汉字转码错

误

2 对于 sql server 2000 ,最好以nvarchar/nchar类型存放文本,即不存在中文/编码

转换问题。

3 连接 mysql,将 connectionstring 设置成 encoding 为 gb2312:

string connectionstring=

"jdbc:mysql://localhost/test?useunicode=true&characterencoding=gb2312";

web/servlet/jsp

1 对于jsp,确定头部加上 这

样的标签。

2 对于servlet,确定 设置setcontenttype (“text/html; charset=gb2312”),以上

两条用于使得输出汉字没有问题。

3 为输出html head中加一个,让浏览器正确确定html编码。

4 为web应用加一个filter,确保每个request明确调用setcharacterencoding方法,让

输入汉字能够正确解析。

import java.io.ioexception;

import javax.servlet.filter;

import javax.servlet.filterchain;

import javax.servlet.filterconfig;

import javax.servlet.servletexception;

import javax.servlet.servletrequest;

import javax.servlet.servletresponse;

import javax.servlet.unavailableexception;

import javax.servlet.http.httpservletrequest;

/**

* example filter that sets the character encoding to be used in parsing the

* incoming request

*/

public class setcharacterencodingfilter

implements filter {

public setcharacterencodingfilter()

{}

protected boolean debug = false;

protected string encoding = null;

protected filterconfig filterconfig = null;

public void destroy() {

this.encoding = null;

this.filterconfig = null;

}

public void dofilter(servletrequest request, servletresponse response,

filterchain chain) throws ioexception,

servletexception {

//if (request.getcharacterencoding() == null)

//{

//string encoding = getencoding();

//if (encoding != null)

//request.setcharacterencoding(encoding);

//

//}

request.setcharacterencoding(encoding);

if ( debug ){

system.out.println(

((httpservletrequest)request).getrequesturi()+"setted to "+encoding );

}

chain.dofilter(request, response);

}

public void init(filterconfig filterconfig) throws servletexception {

this.filterconfig = filterconfig;

this.encoding = filterconfig.getinitparameter("encoding");

this.debug = "true".equalsignorecase(

filterconfig.getinitparameter("debug") );

}

protected string getencoding() {

return (this.encoding);

}

}

web.xml中加入:

localencodingfilter

localencodingfilter

com.ccb.ectipmanager.request.setcharacterencodingfilter

encoding

gb2312

debug

false

localencodingfilter

/*

5 用于weblogic(vedor-specific):

其一:在web.xml里加上如下脚本:

weblogic.httpd.inputcharset./*

gbk

其二(可选)在weblogic.xml里加上如下脚本:

/*

gbk

swing/awt/swt

对于swing/awt,java会有些缺省字体如dialog/san serif,这些字体到系统真实字体

的映射在$jre_home/lib/font.properties.xxx文件中指定。排除字体显示问题时,首

先需要确定jvm的区域为zh_cn,这样font.properties.zh_cn文件才会发生作用。对于

font.properties.zh_cn , 需要检查是否映射缺省字体到中文字体如宋体。

在swing中,java自行解释ttf字体,渲染显示;对于awt,swt显示部分交由操作系统。

首先需要确定系统装有中文字体。

1 汉字显示为”□”,一般为显示字体没有使用中文字体,因为java对于当前字体显示

不了的字符,不会像windows一样再采用缺省字体显示。

2 部分不常见汉字不能显示,一般为显示字库中汉字不全,可以换另外的中文字体试

试。

3 对于awt/swt,首先确定jvm运行环境的区域设置为中文,因为此处设计jvm与操作系

统api调用的转换问题,再检查其它问题。

jni

jni中jstring以utf-8编码给我们,需要我们自行转为本地编码。对于windows,可以采

用widechartomultibyte/multibytetowidechar函数进行转换,对于unix,可以采用

iconv库。

这里从sun jdk 1.4 源代码中找到一段使用jvm string 对象的getbytes的转换方式,

相对简单和跨平台,不需要第三方库,但速度稍慢。函数原型如下:

/* convert between java strings and i18n c strings */

jniexport jstring

newstringplatform(jnienv *env, const char *str);

jniexport const char *

getstringplatformchars(jnienv *env, jstring jstr, jboolean *iscopy);

jniexport jstring jnicall

jnu_newstringplatform(jnienv *env, const char *str);

jniexport const char * jnicall

jnu_getstringplatformchars(jnienv *env, jstring jstr, jboolean *iscopy);

jniexport void jnicall

jnu_releasestringplatformchars(jnienv *env, jstring jstr, const char *str);

附件jni_util.h,jni_util.c

tuxedo/jolt

jolt对于传递的字符串需要用如下进行转码

new string(ls_tt.getbytes("gbk"),"iso8859-1")

对于返回的字符串

new string(error_message.getbytes("iso8859-1"),"gbk");

jolt 的系统属性 bea.jolt.encoding不应该设置,如果设置,jsh会报告说错误的协议.

jdk1.4/1.5新增部分

字符集相关类(charset/charsetencoder/charsetdecoder)

jdk1.4开始,对字符集的支持在java.nio.charset包中实现。

常用功能:

1 列出jvm所支持字符集:charset.availablecharsets()

2 能否对看某个unicode字符编码,charsetencoder.canencode()

unicode surrogate/cjk ext b

unicode 范围一般所用为\u0000-\uffff范围,jvm使用1个char就可以表示,对于cjk

ext b区汉字,范围大于\u20000,则需要采用2个char方能表示,此即unicode

surrogate。这2个char的值范围 落在character.surrogate 区域内,用

character.gettype()来判断。

jdk 1.4尚不能在swing中正确处理surrogate区的unicode字符,jdk1.5可以。对于cjk

ext b区汉字,目前可以使用的字库为”宋体-方正超大字符集”,随office安装。

常见问题

在jvm下,用system.out.println不能正确打印中文,显示为???

system.out.println是printstream,它采用jvm缺省字符集进行转码工作,如果jvm的

缺省字符集为iso8859-1,则中文显示会有问题。此问题常见于unix下,jvm的区域没有

明确指定的情况。

在英文unix环境下,用system.out.println能够正确打印汉字,但是内部处理错误

可能是汉字在输入转换时,就没有正确转码:

即gbk文本à(iso8859-1转码)àjvm char(iso8859-1编码汉字)à (iso8859-1转码)à

输出。

gbk汉字经过两次错误转码,原封不动的被传递到输出,但是在jvm中,并未以正确的

unicode编码表示,而是以一个汉字字节一个char的方式表示,从而导致此类错误。

gb2312-80,gbk,gb18030-2000 汉字字符集

gb2312-80 是在国内计算机汉字信息技术发展初始阶段制定的,其中包含了大部分常用

的一、二级汉字,和 9 区的符号。该字符集是几乎所有的中文系统和国际化的软件都

支持的中文字符集,这也是最基本的中文字符集。其编码范围是高位0xa1-0xfe,低位

也是 0xa1-0xfe;汉字从 0xb0a1 开始,结束于 0xf7fe;

gbk 是 gb2312-80 的扩展,是向上兼容的。它包含了 20902 个汉字,其编码范围是

0x8140-0xfefe,剔除高位 0x80 的字位。其所有字符都可以一对一映射到 unicode 2.

0,也就是说 java 实际上提供了 gbk 字符集的支持。这是现阶段 windows 和其它一

些中文操作系统的缺省字符集,但并不是所有的国际化软件都支持该字符集,感觉是他

们并不完全知道 gbk 是怎么回事。值得注意的是它不是国家标准,而只是规范。随着

gb18030-2000国标的发布,它将在不久的将来完成它的历史使命。

gb18030-2000(gbk2k) 在 gbk 的基础上进一步扩展了汉字,增加了藏、蒙等少数民族

的字形。gbk2k 从根本上解决了字位不够,字形不足的问题。它有几个特点,

它并没有确定所有的字形,只是规定了编码范围,留待以后扩充。

编码是变长的,其二字节部分与 gbk 兼容;四字节部分是扩充的字形、字位,其编码

范围是首字节 0x81-0xfe、二字节0x30-0x39、三字节 0x81-0xfe、四字节0x30-0x39。

utf-8/utf-16/utf-32

utf,即unicode transformer format,是unicode代码点(code point)的实际表示方

式,按其基本长度所用位数分为utf-8/16/32。它也可以认为是一种特殊的外部数据编

码,但能够与unicode代码点做一一对应。

utf-8是变长编码,每个unicode代码点按照不同范围,可以有1-3字节的不同长度。

utf-16长度相对固定,只要不处理大于\u200000范围的字符,每个unicode代码点使用

16位即2字节表示,超出部分使用两个utf-16即4字节表示。按照高低位字节顺序,又分

为utf-16be/utf-16le。

utf-32长度始终固定,每个unicode代码点使用32位即4字节表示。按照高低位字节顺

序,又分为utf-32be/utf-32le。

utf编码有个优点,即尽管编码字节数不等,但是不像gb2312/gbk编码一样,需要从文

本开始寻找,才能正确对汉字进行定位。在utf编码下,根据相对固定的算法,从当前

位置就能够知道当前字节是否是一个代码点的开始还是结束,从而相对简单的进行字符

定位。不过定位问题最简单的还是utf-32,它根本不需要进行字符定位,但是相对的大

小也增加不少。

关于gcj jvm

gcj并未完全依照sun jdk的做法,对于区域和编码问题考虑尚不够周全。gcj启动时,

区域始终设为en_us,编码也缺省为iso8859-1。但是可以用reader/writer做正确编码

======================================================
在最后，我邀请大家参加新浪APP，就是新浪免费送大家的一个空间，支持PHP+MySql，免费二级域名，免费域名绑定 这个是我邀请的地址，您通过这个链接注册即为我的好友，并获赠云豆500个，价值5元哦！短网址是http://t.cn/SXOiLh我创建的小站每天访客已经达到2000+了，每天挂广告赚50+元哦，呵呵，饭钱不愁了，\(^o^)/