【java基础】关于java使用unicode编码及java编码解码测试数据

最新推荐文章于 2024-01-24 09:34:29 发布
最新推荐文章于 2024-01-24 09:34:29 发布
阅读量951 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Java 文章标签： java 编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/youxia0075454/article/details/50278873
本文探讨了Java中Unicode编码的使用以及编码解码的测试过程。通过实例展示了如何在Java中处理Unicode字符，并分享了个人对这一主题的理解，注意可能存在个别不准确之处。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

测试文件1：UnicodeTest1.java-----该文件自身编码为utf-8 

package com.java.unicode;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.util.Arrays;

/**
 * 本java文件编码为UTF-8

 * */
public class UnicodeTest1 {
	public static void main(String[] args) throws Exception{
		
		String GBK_fileName = "E:\\workspace\\TestProgram\\src\\com\\java\\unicode\\GBK.txt";
		String UTF_8_fileName = "E:\\workspace\\TestProgram\\src\\com\\java\\unicode\\UTF-8.txt";
		
		String str = "你是傻逼啊啊啊啊啊啊啊哈哈哈";
		
		System.out.println(codeString(GBK_fileName));
		FileInputStream g_fis = new FileInputStream(GBK_fileName);
		byte[] g_bytes = new byte[50];
		int g_len = g_fis.read(g_bytes);
		
		System.out.println(codeString(UTF_8_fileName));
		FileInputStream u_fis = new FileInputStream(UTF_8_fileName);
		byte[] u_bytes = new byte[50];
		int u_len = u_fis.read(u_bytes);
		byte[] j_bytes_G = str.getBytes("GBK");
		byte[] j_bytes_U = str.getBytes("utf-8");
		//str.getBytes()默认编码方式为当前java文件的编码方式，非系统默认编码
		byte[] j_bytes_F = str.getBytes();
		j_bytes_G = Arrays.copyOf(j_bytes_G, 50);
		j_bytes_U = Arrays.copyOf(j_bytes_U, 50);
		j_bytes_F = Arrays.copyOf(j_bytes_F, 50);
		
		System.out.println("GBK---UTF---J_GBK---J_UTF---J_default");
		//3为utf-8文件文件开始处的utf-8标记，不做文件内容处理
		for (int i = 0 ;i<50-3;i++) {
			System.out.println(g_bytes[i]+"---"+u_bytes[i+3]+"---"+j_bytes_G[i]+"---"+j_bytes_U[i]+"---"+j_bytes_F[i]);
		}
		String a_str = new String(g_bytes,0,g_len,"GBK");
		//new String()默认解码方式问当前java文件的编码方式，非系统默认编码
		String u_str = new String(u_bytes,3,u_len);
		String g_str_j = new String(j_bytes_G,"GBK");
		String u_str_j = new String(j_bytes_U);
		String f_str_j = new String(j_bytes_F);
		System.out.println(a_str+"******"+u_str);
		
		System.out.println(g_str_j+"******"+u_str_j+"******"+f_str_j);
	}
	
	
    public static String codeString(String fileName) throws Exception{
        BufferedInputStream bin = new BufferedInputStream(new FileInputStream(fileName));
        int p = (bin.read() << 8) + bin.read();
        String code = null;
        switch (p) {
            case 0xefbb:
                code = "UTF-8";
                break;
            case 0xfffe:
                code = "Unicode";
                break;
            case 0xfeff:
                code = "UTF-16BE";
                break;
            default:
                code = "GBK";
        }
         
        return code;
    }
	
}

测试结果：

GBK
UTF-8
GBK---UTF---J_GBK---J_UTF---J_default
-60----28----60----28----28
-29----67----29----67----67
-54----96----54----96----96
-57----26----57----26----26
-55----104----55----104----104
-75----81----75----81----81
-79----27----79----27----27
-58----126----58----126----126
-80----69----80----69----69
-95----23----95----23----23
-80----128----80----128----128
-95----68----95----68----68
-80----27----80----27----27
-95----107----95----107----107
-80----118----80----118----118
-95----27----95----27----27
-80----107----80----107----107
-95----118----95----118----118
-80----27----80----27----27
-95----107----95----107----107
-80----118----80----118----118
-95----27----95----27----27
-71----107----71----107----107
-2----118----2----118----118
-71----27----71----27----27
-2----107----2----107----107
-71----118----71----118----118
-2----27----2----27----27
0----107---0----107----107
0----118---0----118----118
0----27---0----27----27
0----107---0----107----107
0----118---0----118----118
0----27---0----27----27
0----109---0----109----109
0----120---0----120----120
0----27---0----27----27
0----109---0----109----109
0----120---0----120----120
0----27---0----27----27
0----109---0----109----109
0----120---0----120----120
0---0---0---0---0
0---0---0---0---0
0---0---0---0---0
0---0---0---0---0
0---0---0---0---0
你是傻逼啊啊啊啊啊啊啊哈哈哈******你是傻逼啊啊啊啊啊啊啊哈哈哈
你是傻逼啊啊啊啊啊啊啊哈哈哈         ******你是傻逼啊啊啊啊啊啊啊哈哈哈         ******你是傻逼啊啊啊啊啊啊啊哈哈哈

测试文件2：UnicodeTest2.java-----该文件自身编码为GBK 

package com.java.unicode;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.util.Arrays;

/**
 * 本java文件编码为GBK
 * */
public class UnicodeTest2 {
	public static void main(String[] args) throws Exception{
		
		String GBK_fileName = "E:\\workspace\\TestProgram\\src\\com\\java\\unicode\\GBK.txt";
		String UTF_8_fileName = "E:\\workspace\\TestProgram\\src\\com\\java\\unicode\\UTF-8.txt";
		
		String str = "你是傻逼啊啊啊啊啊啊啊哈哈哈";
		
		System.out.println(codeString(GBK_fileName));
		FileInputStream g_fis = new FileInputStream(GBK_fileName);
		byte[] g_bytes = new byte[50];
		int g_len = g_fis.read(g_bytes);
		
		System.out.println(codeString(UTF_8_fileName));
		FileInputStream u_fis = new FileInputStream(UTF_8_fileName);
		byte[] u_bytes = new byte[50];
		int u_len = u_fis.read(u_bytes);
		
		byte[] j_bytes_G = str.getBytes("GBK");
		byte[] j_bytes_U = str.getBytes("utf-8");
		//str.getBytes()默认编码方式为当前java文件的编码方式，非系统默认编码
		byte[] j_bytes_F = str.getBytes();
		j_bytes_G = Arrays.copyOf(j_bytes_G, 50);
		j_bytes_U = Arrays.copyOf(j_bytes_U, 50);
		j_bytes_F = Arrays.copyOf(j_bytes_F, 50);
		
		System.out.println("GBK---UTF---J_GBK---J_UTF---J_default");
		//3为utf-8文件文件开始处的utf-8标记，不做文件内容处理
		for (int i = 0 ;i<50-3;i++) {
			System.out.println(g_bytes[i]+"---"+u_bytes[i+3]+"---"+j_bytes_G[i]+"---"+j_bytes_U[i]+"---"+j_bytes_F[i]);
		}
		String a_str = new String(g_bytes,0,g_len,"GBK");
		//new String()默认解码方式问当前java文件的编码方式，非系统默认编码
		String u_str = new String(u_bytes,3,u_len);
		String g_str_j = new String(j_bytes_G,"GBK");
		String u_str_j = new String(j_bytes_U);
		String f_str_j = new String(j_bytes_F);
		System.out.println(a_str+"******"+u_str);
		System.out.println(g_str_j+"******"+u_str_j+"******"+f_str_j);
	}
	
	
    public static String codeString(String fileName) throws Exception{
        BufferedInputStream bin = new BufferedInputStream(new FileInputStream(fileName));
        int p = (bin.read() << 8) + bin.read();
        String code = null;
        switch (p) {
            case 0xefbb:
                code = "UTF-8";
                break;
            case 0xfffe:
                code = "Unicode";
                break;
            case 0xfeff:
                code = "UTF-16BE";
                break;
            default:
                code = "GBK";
        }
         
        return code;
    }
	
}

测试结果： 

GBK
UTF-8
GBK---UTF---J_GBK---J_UTF---J_default
-60----28----60----28----60
-29----67----29----67----29
-54----96----54----96----54
-57----26----57----26----57
-55----104----55----104----55
-75----81----75----81----75
-79----27----79----27----79
-58----126----58----126----58
-80----69----80----69----80
-95----23----95----23----95
-80----128----80----128----80
-95----68----95----68----95
-80----27----80----27----80
-95----107----95----107----95
-80----118----80----118----80
-95----27----95----27----95
-80----107----80----107----80
-95----118----95----118----95
-80----27----80----27----80
-95----107----95----107----95
-80----118----80----118----80
-95----27----95----27----95
-71----107----71----107----71
-2----118----2----118----2
-71----27----71----27----71
-2----107----2----107----2
-71----118----71----118----71
-2----27----2----27----2
0----107---0----107---0
0----118---0----118---0
0----27---0----27---0
0----107---0----107---0
0----118---0----118---0
0----27---0----27---0
0----109---0----109---0
0----120---0----120---0
0----27---0----27---0
0----109---0----109---0
0----120---0----120---0
0----27---0----27---0
0----109---0----109---0
0----120---0----120---0
0---0---0---0---0
0---0---0---0---0
0---0---0---0---0
0---0---0---0---0
0---0---0---0---0
你是傻逼啊啊啊啊啊啊啊哈哈哈******浣犳槸鍌婚?鍟婂晩鍟婂晩鍟婂晩鍟婂搱鍝堝搱
你是傻逼啊啊啊啊啊啊啊哈哈哈       ******浣犳槸鍌婚?鍟婂晩鍟婂晩鍟婂晩鍟婂搱鍝堝搱            你是傻逼啊啊啊啊啊啊啊哈哈哈

注意：可以看到在两个java文件代码完全一样情况下，产生的结果却有差别。

以下结果为个人理解，并非官方权威说法，可能会有错误：

1.str.getBytes("GBK")过程是:是获取字符串转以GBK编码生成的字节码数组（外码操作），是一个用于将String的内码转换为指定的外码的方法，那么调用了String.getBytes()之后得到的byte[]只能表明该外码的性质，而无法碰触到String内码的任何特质。默认编码方式为当前java文件的编码方式; 
2.str = new String(byte[],"GBK")过程是:将byte[]数组内容按GBK编码规则进行解码（外码操作），默认解码方式问当前java文件的编码方式;
3.java采用unicode编码：char在java中占2个字节。2个字节（16位）来表示一个字符。这里的Java中是指在JVM中、在内存中。在JVM内部，统一使用Unicode表示。 
4.Java与Python不同,Python的字符串有两种类型（str和unicode）,string类型可支持多种编码的字符串字节数组。JVM中仅支持的unicode编码，字符串在JVM中始终以unicode编码存在，虚拟机需要把各类编码的字符串转化为unicode编码，该过程JVM自动转换，对编程人员屏蔽，无法获取虚拟机中对应字符串的二进制数据。


java中各种字符编码通过字节向16进制的互转：UTF8|GBK|unicode 字符串＜=＞字节序列＜=＞16进制字符串
专注于计算机研发知识和资讯分享
12-23 1680
定义了一个hexToString方法，它接受一个16进制的字符串，然后将其每两个字符作为一个字节转换为对应的字符，并最终拼接成一个普通的字符串。在java或者其他语言中，字符是以字节的形式存在的，UTF8 、GBK、 unicode 不同的编码格式。字符串->字节数组->16进制字符串。
java 中文Unicode转换
11-19
Java中文成Unicode码及从Unicode码转成中文
Java编码和解码Unicode
醉后知酒浓的专栏
03-13 1万+
Java编码和解码Unicode
java解码Unicode编码
最新发布
weixin_45559862的博客
01-24 1713
【代码】java解码Unicode编码。
JAVA unicode 解码
laccp的专栏
02-21 1330
今天跟一家公司接口，返回的是unicode的编码，并且把字符，数字也unicode的了，所以，显示的时候就是unicode的字符，针对这种情况，写了一个方法： public static String unUnicode(String text){ StringBuilder gbk = new StringBuilder(); String[] hex = text.split("\\\\
java的unicode解码
fuqinyijiu的专栏
12-24 8736
package util; import java.nio.ByteBuffer; import java.nio.charset.Charset; import java.util.regex.Matcher; import java.util.regex.Pattern; /**  * @author tian  *  */ public class CharSetUtil
Java高频面试基础问题与知识点整理
热门推荐
张彦峰的博客
11-04 171万+
Java高频面试知识点总结：覆盖高频基础知识考点+高频集合知识点深入分析+高频多线程与并发编程面试题汇总+其他扩展考察等。
Java文本字符编码解码操作类 Escape.java源代码.rar
07-10
在Java编程语言中，字符编码和解码是处理文本数据时不可或缺的部分，特别是在网络通信、文件存储或跨系统交互中。Escape.java源代码是专门设计用于处理文本字符的编码和解码操作的一个类。这个类的目标是确保无论...
Java文件编码转换源码
03-09
UTF-8则是一种可变长度的Unicode编码，能表示世界上几乎所有的字符。 在Java中，我们可以使用`java.nio.charset`包下的类来处理编码转换。其中，`Charset`类代表了一种字符集，`CharsetDecoder`和`CharsetEncoder`...
Java1Unicode_java_accountdut_
09-30
4. 可能还包含了单元测试代码，用于验证编码转换的正确性，这通常位于`src/test/java`目录下，使用JUnit或TestNG等测试框架。 在深入理解这个项目之前，开发者需要对Java的字符编码、JavaBeans规范以及基本的文件I/...
java汉字<<>>Unicode编码转换工具
12-14
利用java快速完成汉字、Unicode编码的互相转换。 请自行编译成class文件并运行。 程序自动识别汉字和Unicode码并进行转换。
浅谈Java中Unicode的编码和实现
08-29
向大家介绍了Java编程中Unicode编码及实现的相关内容，列举了几个字符不同表达式的比较，以及Unicode平面映射的知识，具有一点点参考价值，需要的朋友可以了解下。
java实现Unicode编码和解码（附带Pattern用法）
qq_42449963的博客
05-16 8394
代码： public class Test { public static void main(String[] args) { System.out.println("在站长工具网站中对“中国加油”进行Unicode编码，结果如下：\\u4e2d\\u56fd\\u52a0\\u6cb9"); // 我们使用“中国加油”的Unicode编码来测试 String str = "\\u4e2d\\u56fd\\u52a0\\u6cb9";
Java注释代码也会执行之Unicode编码解码
独码乐，不如众码乐，乐享其中
03-19 4629
整理Java知识点时，在注释中一次无意的书写，导致编译失败，竟然报“非法的Unicode转义”。本着IT人钻研的精神，促使自己有必要深入了解Java注释代码执行Unicode编码解码的正确用法。
java 解码 unicode,Java Unicode到可读文本转换解码
weixin_42509105的博客
02-12 245
I am developing a Java application where I am consuming a web service. The web service is created using a SAP server, which encodes the data automatically in Unicode. I get a Unicode string from the w...
Java实现Unicode加码和解码的工具类
Counter-Strike大牛
04-07 8578
写代码的时候经常会用到unicode编码和解码，这里记录一下unicode的工具类。 其实unicode编码和解码，就是16进制数字和char之间的来回转换。 先看一下工具类： package com.test.test.util; import org.apache.commons.lang3.ArrayUtils; import org.apache.commons.lang3.StringUtils; public class UnicodeUtils { // 16进制数组 p
java对unicode的编码 和 解码
weixin_38453685的博客
09-15 3665
由于今天再传输过程中出现了编码问题，所以打算对传输的url进行url编码。经过查找和验证 整理以下两种方法 /** * unicode编码 * @param String str * @return String */ public static String encodeUnicode(String string) { StringBuffer unico
★★ Java中Unicode、编码的理解
jackpk的专栏
04-02 1548
Java编码、Unicode
java实现unicode的解码
软件开发工程师----王腾
11-09 1382
public String decodeUnicode(String theString) {           char aChar;           int len = theString.length();          StringBuffer outBuffer = new StringBuffer(len);          for
Java字符编码转换工具及源码分享
- Unicode编码标准，包括UTF-8、UTF-16、UTF-32等格式的介绍。 - 常见字符集如ASCII、ISO-8859-1（西欧字符集）的介绍。 2. Java中的字符和字节 - Java字符类型(char)与字节类型(byte)的区别。 - 字符串(String...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值