Java web 中的中文乱码问题总结

一、乱码由来：

       大家都知道一句话：“乱码是因为编码和解码方式不一致造成的”。 那么，我们为什么要编码呢？

       那就要从计算机底层是如何表示人类语言（包括字母、中文文字、其他符号等等）说起了：

       字符：人们使用的记号，抽象意义上的一个符号。 '1', '中', 'a', '$', '￥', ……

       字节：计算机中存储信息的最小单元是1个字节（byte），即8个bit(二进制，要么是1，要么是0)，假设用一个字节表示人类语言的字符，最多也就可以展示2的8次方=256个，要表示世界上那么多种字符，这明显远远不够用。

       所以要计算机表示和人类语言符号统一起来，就需要编码，也就是从字符到字节或者从字节到字符的转换过程，具体各种编码格式、编码规则又有不同：

        1、ASCII码（American Standard Code for Information Interchange，美国信息交换标准代码）：用1个字节的低7位来表示共计128个字符，是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其它西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。  

如下表，有了这个统一的标准之后，大家读到计算机中某个字节是：01000001，那么我们就知道它代表的是大写字母A；

Bin(二进制)	Oct(八进制)	Dec(十进制)	Hex(十六进制)	缩写/字符	解释
0000 0000	0	0	00	NUT(null)	空字符
0000 0001	1	1	01	SOH(start of headline)	标题开始
0000 0010	2	2	02	STX (start of text)	正文开始
0000 0011	3	3	03	ETX (end of text)	正文结束
0000 0100	4	4	04	EOT (end of transmission)	传输结束
0000 0101	5	5	05	ENQ (enquiry)	请求
0000 0110	6	6	06	ACK (acknowledge)	收到通知
0000 0111	7	7	07	BEL (bell)	响铃
0000 1000	10	8	08	BS (backspace)	退格
0000 1001	11	9	09	HT (horizontal tab)	水平制表符
0000 1010	12	10	0A	LF (NL line feed, new line)	换行键
0000 1011	13	11	0B	VT (vertical tab)	垂直制表符
0000 1100	14	12	0C	FF (NP form feed, new page)	换页键
0000 1101	15	13	0D	CR (carriage return)	回车键
0000 1110	16	14	0E	SO (shift out)	不用切换
0000 1111	17	15	0F	SI (shift in)	启用切换
0001 0000	20	16	10	DLE (data link escape)	数据链路转义
0001 0001	21	17	11	DC1 (device control 1)	设备控制1
0001 0010	22	18	12	DC2 (device control 2)	设备控制2
0001 0011	23	19	13	DC3 (device control 3)	设备控制3
0001 0100	24	20	14	DC4 (device control 4)	设备控制4
0001 0101	25	21	15	NAK (negative acknowledge)	拒绝接收
0001 0110	26	22	16	SYN (synchronous idle)	同步空闲
0001 0111	27	23	17	ETB (end of trans. block)	结束传输块
0001 1000	30	24	18	CAN (cancel)	取消
0001 1001	31	25	19	EM (end of medium)	媒介结束
0001 1010	32	26	1A	SUB (substitute)	代替
0001 1011	33	27	1B	ESC (escape)	换码(溢出)
0001 1100	34	28	1C	FS (file separator)	文件分隔符
0001 1101	35	29	1D	GS (group separator)	分组符
0001 1110	36	30	1E	RS (record separator)	记录分隔符
0001 1111	37	31	1F	US (unit separator)	单元分隔符
0010 0000	40	32	20	(space)	空格
0010 0001	41	33	21	!	叹号
0010 0010	42	34	22	"	双引号
0010 0011	43	35	23	#	井号
0010 0100	44	36	24	$	美元符
0010 0101	45	37	25	%	百分号
0010 0110	46	38	26	&	和号
0010 0111	47	39	27	'	闭单引号
0010 1000	50	40	28	(	开括号
0010 1001	51	41	29	)	闭括号
0010 1010	52	42	2A	*	星号
0010 1011	53	43	2B	+	加号
0010 1100	54	44	2C	,	逗号
0010 1101	55	45	2D	-	减号/破折号
0010 1110	56	46	2E	.	句号
00101111	57	47	2F	/	斜杠
00110000	60	48	30	0	数字0
00110001	61	49	31	1	数字1
00110010	62	50	32	2	数字2
00110011	63	51	33	3	数字3
00110100	64	52	34	4	数字4
00110101	65	53	35	5	数字5
00110110	66	54	36	6	数字6
00110111	67	55	37	7	数字7
00111000	70	56	38	8	数字8
00111001	71	57	39	9	数字9
00111010	72	58	3A	:	冒号
00111011	73	59	3B	;	分号
00111100	74	60	3C	<	小于
00111101	75	61	3D	=	等号
00111110	76	62	3E	>	大于
00111111	77	63	3F	?	问号
01000000	100	64	40	@	电子邮件符号
01000001	101	65	41	A	大写字母A
01000010	102	66	42	B	大写字母B
01000011	103	67	43	C	大写字母C
01000100	104	68	44	D	大写字母D
01000101	105	69	45	E	大写字母E
01000110	106	70	46	F	大写字母F
01000111	107	71	47	G	大写字母G
01001000	110	72	48	H	大写字母H
01001001	111	73	49	I	大写字母I
01001010	112	74	4A	J	大写字母J
01001011	113	75	4B	K	大写字母K
01001100	114	76	4C	L	大写字母L
01001101	115	77	4D	M	大写字母M
01001110	116	78	4E	N	大写字母N
01001111	117	79	4F	O	大写字母O
01010000	120	80	50	P	大写字母P
01010001	121	81	51	Q	大写字母Q
01010010	122	82	52	R	大写字母R
01010011	123	83	53	S	大写字母S
01010100	124	84	54	T	大写字母T
01010101	125	85	55	U	大写字母U
01010110	126	86	56	V	大写字母V
01010111	127	87	57	W	大写字母W
01011000	130	88	58	X	大写字母X
01011001	131	89	59	Y	大写字母Y
01011010	132	90	5A	Z	大写字母Z
01011011	133	91	5B	[	开方括号
01011100	134	92	5C	\	反斜杠
01011101	135	93	5D	]	闭方括号
01011110	136	94	5E	^	脱字符
01011111	137	95	5F	_	下划线
01100000	140	96	60	`	开单引号
01100001	141	97	61	a	小写字母a
01100010	142	98	62	b	小写字母b
01100011	143	99	63	c	小写字母c
01100100	144	100	64	d	小写字母d
01100101	145	101	65	e	小写字母e
01100110	146	102	66	f	小写字母f
01100111	147	103	67	g	小写字母g
01101000	150	104	68	h	小写字母h
01101001	151	105	69	i	小写字母i
01101010	152	106	6A	j	小写字母j
01101011	153	107	6B	k	小写字母k
01101100	154	108	6C	l	小写字母l
01101101	155	109	6D	m	小写字母m
01101110	156	110	6E	n	小写字母n
01101111	157	111	6F	o	小写字母o
01110000	160	112	70	p	小写字母p
01110001	161	113	71	q	小写字母q
01110010	162	114	72	r	小写字母r
01110011	163	115	73	s	小写字母s
01110100	164	116	74	t	小写字母t
01110101	165	117	75	u	小写字母u
01110110	166	118	76	v	小写字母v
01110111	167	119	77	w	小写字母w
01111000	170	120	78	x	小写字母x
01111001	171	121	79	y	小写字母y
01111010	172	122	7A	z	小写字母z
01111011	173	123	7B	{	开花括号
01111100	174	124	7C	|	垂线
01111101	175	125	7D	}	闭花括号
01111110	176	126	7E	~	波浪号
01111111	177	127	7F	DEL (delete)	删除

        2、ISO-8859-1:  ISO组织在ASCII码基础上扩展到256个字符，制定的标准，涵盖了大多数西欧语言字符。

        3、GB2312：全称是《信息交换用汉字编码字符集》，是由中国国家标准总局1980年发布，1981年5月1日开始实施的一套国家标准；采用双字节编码，共包含682个符号和6763个汉字。

        4、GBK：全称《汉字内码扩展规范》（GBK即“国标”、“扩展”汉语拼音的第一个字母），扩展的GB2312，向下兼容GB2312，也就是说，GB2312编码的，用GBK解码是没问题的，不会出现乱码；

         5、GB18030:应用不广泛，相关资料后续有机会补上；

         6、UTF-16: 说到UTF(Unicode TransferFormat ：把Unicode转做某种格式),就必须先说一说Unicode(Universal code 统一码)，Unicode是ISO组织创建的一个世界统一性的字典，但是不是具体的编码格式标准。  UTF-16是一个实现版本，但是它使用定长2个字节来表示所有的字符。值得一提的是，定长表示大大简化了字符串的操作，很适合本地磁盘和内存之间使用，这是Java以UTF-16作为内存的字符存储格式的一个重要原因。

          7、UTF-8: 虽然UTF-16在字符表示上简单方便，但是在网络传输中同时也造成了存储空间的浪费、网络传输流量的增加，这是其缺点。

UTF-8采用了变长的技术，不同类型的字符，可以由1~6个字符来表示，适合网络传输。基本编码规则如下：

小结:   这下我们就知道乱码怎么来的：假设某字符是用GBK的编码规则编码的，如果我用ISO-8859-1的规则去解码，那么原本GBK两个字节代表的一个字符，在ISO-8859-1的规则下就会拆成2个单独的字节，也就不可能正确翻译出原来的字符是什么了。

二、Java中乱码产生的可能情况（需要字符和字节转换的场景）：

        1、I/O操作：包括磁盘I/O和网络I/O（关于Java中处理I/O问题，我将会以另一篇博文呈现）

        2、在内存中操作的编码：也就是数据类型转换操作。

             如下，从打印结果可以看到，编码格式保持一致的重要性。

String str = "我是中文";
byte[] b = str.getBytes("UTF-8");

String str1 = new String(b,"UTF-8");
System.out.println(str1);  //我是中文

String str2 = new String(b,"GBK");
System.out.println(str2);//鎴戞槸涓枃

 

三、后记：

Java web  中涉及的编解码，同样后面会在另外一篇博文中呈现。

 

相关博客：Eclipse console 输出中文乱码问题