java版字符串编码转换

最新推荐文章于 2025-05-25 22:17:05 发布
转载 最新推荐文章于 2025-05-25 22:17:05 发布 · 976 阅读 · 0
文章标签：

#java 

import java.lang.Character.UnicodeBlock;
/**
 * Created by Administrator on 2016/1/14.
 */
public class CharsetUtil {

    public static void main(String[] args){
        String str="天空很蓝，大海很咸，顺远";
        String unicode=GBK2Unicode(str);
        System.out.println(unicode);
        String utf=unicodeToUtf8(unicode);
        System.out.println(utf);
        unicode=utf8ToUnicode(str);
        utf=unicodeToUtf8(unicode);
        System.out.println(utf);

    }

    public static String gbk2utf8(String gbk) {
        String l_temp = GBK2Unicode(gbk);
        l_temp = unicodeToUtf8(l_temp);

        return l_temp;
    }

    public static String utf82gbk(String utf) {
        String l_temp = utf8ToUnicode(utf);
        l_temp = Unicode2GBK(l_temp);

        return l_temp;
    }

    /**
     *
     * @param str
     * @return String
     */

    public static String GBK2Unicode(String str) {
        StringBuffer result = new StringBuffer();
        for (int i = 0; i < str.length(); i++) {
            char chr1 = (char) str.charAt(i);

            if (!isNeedConvert(chr1)) {
                result.append(chr1);
                continue;
            }

            result.append("\\u" + Integer.toHexString((int) chr1));
        }

        return result.toString();
    }

    /**
     *
     * @param dataStr
     * @return String
     */

    public static String Unicode2GBK(String dataStr) {
        int index = 0;
        StringBuffer buffer = new StringBuffer();

        int li_len = dataStr.length();
        while (index < li_len) {
            if (index >= li_len - 1
                    || !"\\u".equals(dataStr.substring(index, index + 2))) {
                buffer.append(dataStr.charAt(index));

                index++;
                continue;
            }

            String charStr = "";
            charStr = dataStr.substring(index + 2, index + 6);

            char letter = (char) Integer.parseInt(charStr, 16);

            buffer.append(letter);
            index += 6;
        }

        return buffer.toString();
    }

    public static boolean isNeedConvert(char para) {
        return ((para & (0x00FF)) != para);
    }

    /**
     * utf-8 转unicode
     *
     * @param inStr
     * @return String
     */
    public static String utf8ToUnicode(String inStr) {
        char[] myBuffer = inStr.toCharArray();

        StringBuffer sb = new StringBuffer();
        for (int i = 0; i < inStr.length(); i++) {
            UnicodeBlock ub = UnicodeBlock.of(myBuffer[i]);
            if (ub == UnicodeBlock.BASIC_LATIN) {
                sb.append(myBuffer[i]);
            } else if (ub == UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS) {
                int j = (int) myBuffer[i] - 65248;
                sb.append((char) j);
            } else {
                int s = (int) myBuffer[i];
                String hexS = Integer.toHexString(s);
                String unicode = "\\u" + hexS;
                sb.append(unicode.toLowerCase());
            }
        }
        return sb.toString();
    }

    /**
     *
     * @param theString
     * @return String
     */
    public static String unicodeToUtf8(String theString) {
        char aChar;
        int len = theString.length();
        StringBuffer outBuffer = new StringBuffer(len);
        for (int x = 0; x < len;) {
            aChar = theString.charAt(x++);
            if (aChar == '\\') {
                aChar = theString.charAt(x++);
                if (aChar == 'u') {
                    // Read the xxxx
                    int value = 0;
                    for (int i = 0; i < 4; i++) {
                        aChar = theString.charAt(x++);
                        switch (aChar) {
                            case '0':
                            case '1':
                            case '2':
                            case '3':
                            case '4':
                            case '5':
                            case '6':
                            case '7':
                            case '8':
                            case '9':
                                value = (value << 4) + aChar - '0';
                                break;
                            case 'a':
                            case 'b':
                            case 'c':
                            case 'd':
                            case 'e':
                            case 'f':
                                value = (value << 4) + 10 + aChar - 'a';
                                break;
                            case 'A':
                            case 'B':
                            case 'C':
                            case 'D':
                            case 'E':
                            case 'F':
                                value = (value << 4) + 10 + aChar - 'A';
                                break;
                            default:
                                throw new IllegalArgumentException(
                                        "Malformed   \\uxxxx   encoding.");
                        }
                    }
                    outBuffer.append((char) value);
                } else {
                    if (aChar == 't')
                        aChar = '\t';
                    else if (aChar == 'r')
                        aChar = '\r';
                    else if (aChar == 'n')
                        aChar = '\n';
                    else if (aChar == 'f')
                        aChar = '\f';
                    outBuffer.append(aChar);
                }
            } else
                outBuffer.append(aChar);
        }
        return outBuffer.toString();
    }

}



还有一篇博客：http://blog.youkuaiyun.com/tge7618291/article/details/7608510


Unicode与GBK互转

3.1 GBK --> Unicode

Unicode 与 GBK 是两个完全不样的字符编码方案, 其两者没有直接关系, 要对其进行相
互转换, 最直接最高效的方法是查表.

GBK与Unicode的映射表可以从网上下载:
    http://www.gnu.org/directory/libiconv.html

显然, 只需要把下载下来的映射表用一个二维数组表示即可, tab_GBK_to_UCS2[i][0]表
示GBK编码值,  tab_GBK_to_UCS2[i][1]表示Unicode值.

[cpp]  view plain copy
  1. <span xmlns="http://www.w3.org/1999/xhtml" style="">// #c---  
  2. static const unsigned short tab_GBK_to_UCS2[][2] =  
  3. {  
  4.    /* GBK    Unicode     字 */  
  5.   
  6.     {0x8140, 0x4E02}, // 丂  
  7.     {0x8141, 0x4E04}, // 丄  
  8.     {0x8142, 0x4E05}, // 丅  
  9.     {0x8143, 0x4E06}, // 丆  
  10.     {0x8144, 0x4E0F}, // 丏  
  11.     ... ...  
  12.     {0x817F, 0x0001}, // XXXXX  
  13.     ... ...  
  14. };  
  15. // #c---end</span>  

但这有一个问题, 对于GBK编码并不是连续的, 有些编码目前是没有意义的, 如0x817F,
为了方便使用数组索引下标, 我们以把这些值也插入数组, 对应的Unicode值用一个不冲
突的值表示即可, 在这用的是0x0001. 这样对于任意的GBK编码值, 我们就可直接地利用
该数组直接找出其对应的Unicode编码值了. 起初, 我还打算用一个map来实现GBK到
Unicode 的转换, 这也只都是考虑到空间是否节省和是否高效. 对于高效, 数组当然没得
说; 用树实现的map也能达到log2; 用hash实现的map, 如果能选用效好的hash函数也是能
够达到常数级别的. 对于节省空间, 如果数据是连续的, 那是最理想不过了, 但目前这一
问题并不连续, 所以, 为了连续, 只能浪费点了, 算了下, 对于这一问题空间利用率为
69%左右; 如果是map, 因每个节点都要点空间, 所以算了一下, 其空间利用率也就67%左
右.


将一个字符的GBK编码转换成Unicode (UCS-2和UCS-4) 编码.

[cpp]  view plain copy
  1. <span xmlns="http://www.w3.org/1999/xhtml" style="">// #c---  
  2. /***************************************************************************** 
  3.  * 将一个字符的GBK编码转换成Unicode(UCS-2和UCS-4)编码. 
  4.  * 
  5.  * 参数: 
  6.  *    gbk         字符的GBK编码值 
  7.  *    ucs         指向输出缓冲区, 其保存的数据即是Unicode编码值, 
  8.  *                类型为unsigned long . 
  9.  * 
  10.  * 返回值: 
  11.  *    1. 成功则返回该字符的GBK编码所占用的字节数; 
  12.  *         对于ASCII字符返回1, 对于非ASCII中文字符返回2. 
  13.  *    2. 失败则返回0. 
  14.  * 
  15.  * 注意: 
  16.  *     1. GBK 和 Unicode 都有字节序要求; 
  17.  *        字节序分为大端(Big Endian)和小端(Little Endian)两种; 
  18.  *        在Intel处理器中采用小端法表示, 在此采用小端法表示. (低地址存低位) 
  19.  ****************************************************************************/  
  20. int enc_GBK_to_unicode_one(unsigned short gbk,  
  21.         unsigned long *ucs)  
  22. {  
  23.     assert(ucs != NULL);  
  24.   
  25.     unsigned char *p = (unsigned char *) &gbk;  
  26.     unsigned char *phibyte = p + 1;  
  27.   
  28.     if ( *phibyte < 0x80 )  
  29.     {  
  30.         *ucs = *phibyte;  
  31.         return 1;  
  32.     }  
  33.     else  
  34.     {  
  35.         if ( gbk < tab_GBK_to_UCS2[0][0] ||  
  36.                 gbk > tab_GBK_to_UCS2[NUMOF_TAB_GBK_TO_UCS2 - 1][0] )  
  37.         {  
  38.             return 0;  
  39.         }  
  40.   
  41.         *ucs = tab_GBK_to_UCS2[gbk - tab_GBK_to_UCS2[0][0]][1];  
  42.     }  
  43.   
  44.     return 2;  
  45. }  
  46.   
  47. // #c---end  
  48.   
  49.   
  50. </span>  
3.2 Unicode --> GBK

要实现Unicode到GBK的转换, 可以使用以上的数组表结构, 但由于GBK对应的unicode值的
范围太广, 会造成很大的浪费, 空间利用率只有30%. 无奈只能用map了.

用hash实现的map是个不错的选择.
[cpp]  view plain copy
  1. <span xmlns="http://www.w3.org/1999/xhtml" style=""><span xmlns="http://www.w3.org/1999/xhtml" style="">// #c---  
  2. /*==========================================================================* 
  3.  * @Description: 
  4.  *      初始化unicode(key)与GBK(value)的映射表tab_UCS2_to_GBK 
  5.  * 
  6.  * @Returns: 
  7.  *      成功, 返回1; 
  8.  *      失败, 返回0. 
  9.  * 
  10.  *==========================================================================*/  
  11. static int enc_stc_unicode_to_GBK_init()  
  12. {  
  13.     assert(tab_UCS2_to_GBK == NULL);  
  14.   
  15.     int  i;  
  16.     void *ret;  
  17.   
  18.     tab_UCS2_to_GBK = Table_new(21791, enc_stc_unicode_to_GBK_cmp,  
  19.             enc_stc_unicode_to_GBK_hash);  
  20.     if ( tab_UCS2_to_GBK == TABLE_ERROR )  
  21.         return 0;  
  22.   
  23.     for ( i = 0; i < NUMOF_TAB_GBK_TO_UCS2; i++ )  
  24.     {  
  25.         if ( tab_GBK_to_UCS2[i][1] == 0x0001 )  
  26.             continue;  
  27.   
  28.         unsigned long k = (unsigned long)tab_GBK_to_UCS2[i][1];  
  29.         unsigned long v = (unsigned long)tab_GBK_to_UCS2[i][0];  
  30.         ret = Table_put(tab_UCS2_to_GBK, (void*)k, (void*)v);  
  31.         if ( ret != TABLE_OK )  
  32.             return 0;  
  33.     }  
  34.   
  35.     return 1;  
  36. }  
  37.   
  38. /***************************************************************************** 
  39.  * 将一个字符的Unicode(UCS-2和UCS-4)编码转换成GBK编码. 
  40.  * 
  41.  * 参数: 
  42.  *    ucs      字符的Unicode编码值 
  43.  *    gbk      指向输出的用于存储GBK编码值的缓冲区的指针 
  44.  * 
  45.  * 返回值: 
  46.  *    1. 成功则返回该字符的GBK编码所占用的字节数; 
  47.  *         对于ASCII字符返回1, 对于非ASCII中文字符返回2. 
  48.  *    2. 失败则返回0. 
  49.  * 
  50.  * 注意: 
  51.  *     1. GKB和Unicode都有字节序要求; 
  52.  *        字节序分为大端(Big Endian)和小端(Little Endian)两种; 
  53.  *        在Intel处理器中采用小端法表示, 在此采用小端法表示. (低地址存低位) 
  54.  ****************************************************************************/  
  55. int enc_unicode_to_GBK_one(unsigned long ucs, unsigned short *gbk)  
  56. {  
  57.     assert(gbk != NULL);  
  58.   
  59.     if ( ucs < 0x80 )  
  60.     {  
  61.         *gbk = ucs;  
  62.         return 1;  
  63.     }  
  64.   
  65.     if ( tab_UCS2_to_GBK == NULL )  
  66.         if ( enc_stc_unicode_to_GBK_init() == 0 )  
  67.             return 0;  
  68.   
  69.     void *pvalue;  
  70.   
  71.     pvalue = Table_get(tab_UCS2_to_GBK, (void*)ucs);  
  72.     if ( pvalue == TABLE_NO_KEY )  
  73.         return 0;  
  74.   
  75.     *gbk = (unsigned long)pvalue;  
  76.   
  77.     return 2;  
  78. }  
  79.   
  80. // #c---end  
  81.   
  82.   
  83. </span></span>  

字符串编码转换
橙子味冰可乐的博客
05-29 990
在Python中，有两种常用的字符串类型，分别为str和bytes。l encoding="utf-8"：可选参数，用于指定进行转码时采用的字符编码，默认为UTF-8，如果想使用简体中文，也可以设置为gb2312。l encoding="utf-8"：可选参数，用于指定进行解码时采用的字符编码，默认为UTF-8，如果想使用简体中文，也可以设置为gb2312。说明：bytes类型的数据是带有b前缀的字符串（用单引号或双引号表示），例如，b'\xd2\xb0'和b'mr'都是bytes类型的数据。
java字符串编码转换代码
10-06
总结了java中常见的utf-8、gbk等进行字符串编码转换
java字符串转换器
wensonlee的专栏
07-01 696
     无论是对程序的本地化还是国际化，都会涉及到字符编码的转换的问题。尤其在web应用中常常需要处理中文字符，这时就需要进行字符串的编码转换，将字符串编码转换为GBK或者GB2312。 一、关键技术点：    1、当前流行的字符编码格式有：US-ASCII、ISO-8859-1、UTF-8、UTF-16BE、UTF-16LE、UTF-16、GBK、GB2312等，其中GBK、GB2312是专门...
Java字符编码转换：从UTF-8到GBK的实现原理与实践
最新发布
岁月静好
05-25 1044
Java实现UTF-8到GBK的转换，本质是通过Unicode作为中间桥梁解码阶段：将源编码（UTF-8）的字节流转换为Java内部的Unicode字符串（String编码阶段：将Unicode字符串按目标编码（GBK）规则生成字节流。
java字符串的各种编码转换
iteye_12054的博客
09-18 136
import java.io.UnsupportedEncodingException; /** * 转换字符串的编码 */ public class ChangeCharset { /** 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 */ public static final String US_ASCII = "US-ASCII";...
java 字符串编码转换
geekczt
10-03 1390
/本程序默认在UTF8编码下运行         String a = "郑高强";         String b = null;         b = new String(a.getBytes(),"UTF8");         System.out.println(b);  //正确显示         b = new String(a.getBytes("GB2312")
Java 正确的做字符串编码转换
heikeb的专栏
11-18 2712
Java 正确的做字符串编码转换
java转换字符串编码格式的方法
08-27
在Java中，字符编码转换...总之，了解和掌握Java中的字符串编码转换方法，对于开发跨平台的应用程序和处理多语言数据具有重要意义。通过恰当的编码转换机制，可以确保数据的正确显示和处理，避免乱码等常见的编码问题。
Java 所有字符串转UTF-8 万能工具类-GetEncode.java
04-04
不需要关心接受的字符串编码是UTF_8还是GBK，还是ios-8859-1，自动转换为utf-8编码格式，无需判断字符串原有编码，用法：//处理编码String newStr = GetEncode.transcode(oldStr);
Java中字符串与byte数组之间的相互转换
09-01
默认情况下，Java字符串使用UTF-16编码。相反，从字节数组还原字符串时，同样需要指定或推断正确的字符编码。 **字符串转byte数组** 1. **方法一**：使用`getBytes()`方法。这是最直接的方法，例如`byte[] bytes =...
Encodes.java字符串编码转换
08-31
字符串与各种编码之间相互转换，例如：字符串转base64，字符串转十六进制等等
JAVA 字符串编码转换
a1346236的博客
11-21 147
/** * 字符串编码转换的实现方法 * @param str 待转换编码的字符串 * @param newCharset 目标编码 * @return * @throws UnsupportedEncodingException */ public String changeCharset(String str, S...
Java中字符串的编码转换
Lisong_jack的博客
08-06 1128
说明：在JVM内部，字符串在java中统一用unicode表示。无论源文件是用什么编码，都会先用相应地编码方式解析成字符串，再将字符串转换为unicode格式的字节数组，作为内部存储。因此，不论源码文件是什么格式，同样的字符串，最后得到的unicode字节数组是完全一致的。 在程序未运行时，字符串以原始编码的字节数组存储在系统磁盘中；在程序运行时，字符串会被转化为unicode字符数组存储在J...
java对字符串编码转换_(转) Java字符编码转换
weixin_26833939的博客
02-20 2851
JVMJVM启动后，JVM会设置一些系统属性以表明JVM的缺省区域。user.language,user.region,file.encoding等。可以使用System.getProperties()详细查看所有的系统属性。如在英文操作系统(如UNIX)下，可以使用如下属性定义强制指定JVM为中文环境-Dclient.encoding.override=GBK -Dfile.encoding=G...
java字符串应用之字符串编码转换
热门推荐
上善若水
11-24 5万+
    无论是对程序的本地化还是国际化，都会涉及到字符编码的转换的问题。尤其在web应用中常常需要处理中文字符，这时就需要进行字符串的编码转换，将字符串编码转换为GBK或者GB2312。一、关键技术点：    1、当前流行的字符编码格式有：US-ASCII、ISO-8859-1、UTF-8、UTF-16BE、UTF-16LE、UTF-16、GBK、GB2312等，其中GBK、GB2312是专门
<转>java字符串的各种编码转换
jiangxf24的专栏
08-04 233
String - ASCII, HEX, Binary Converter http://www.easycalculation.com/ascii-hex.php   import java.io.UnsupportedEncodingException; /** * 转换字符串的编码 */ public class ChangeCharset { /** 7位AS...
java 字符编码转换
荷逸的博客
02-27 5039
字符编码是将字符转换为二进制数字的过程，用于计算机的输入、输出和存储。在Java中，字符编码是使用Java编程语言中的Unicode字符集进行处理的。Unicode字符集是一个标准的字符集，它为世界上的每个字符分配了一个唯一的编号，包括拉丁字母、汉字、日语假名等等。
Java字符串编码转换详解
"Java字符串编码转换在Web环境中的应用" Java编程语言处理字符串时，涉及到不同字符编码的转换，这是由于不同的系统和平台可能使用不同的字符集。例如，GBK、GB2312、ISO8859-1和UTF-8等都是常见的字符编码格式。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值