字符编码那些事

最新推荐文章于 2024-01-24 09:34:29 发布

weixin_30325487

最新推荐文章于 2024-01-24 09:34:29 发布

阅读量146

点赞数

CC 4.0 BY-SA版权

文章标签： java php 数据库

原文链接：http://www.cnblogs.com/siqi/p/10251198.html

java char的述职范围 0-65535 超过的用两个长度的char数组（utf-16）表示
Character.toChars(0x4E2Df)

你不能用一个单一的char（持有一个UTF-16代码单元）做到这一点
// This represents U+10FFFF
String x = "\udbff\udfff";

两个UTF-16代码单元结合在一起，形成超出基本多语言平面的单一Unicode代码点
String y = new StringBuilder().appendCodePoint(0x10ffff).toString();

int x = 0x10FFFF;
String y = new String(Character.toChars(ch));

notepad UCS-2 直接用两个字节存入字符的 Unicode 码， UCS-2用两个字节编码，UCS-4用4个字节编码

Unicode的最大码位是0x10FFFF

UTF-16与UCS-2的关系
UTF-16可看成是UCS-2的父集。在没有辅助平面字符（surrogate code points）前，UTF-16与UCS-2所指的是同一的意思。但当引入辅助平面字符后，就称为UTF-16了。现在若有软件声称自己支援UCS-2编码，那其实是暗指它不能支援在UTF-16中超过2bytes的字集。对于小于0x10000的UCS码，UTF-16编码就等于UCS码。

utf-16 用两个字节或四个字节表示，中间用到里代理，以更方便和unicode转换
unicode编码范围：0x0000~0x10FFFF，共17个面，但实际中只用了5个面

0号面 bmp 用的最多

unicode转换工具：http://tool.chinaz.com/tools/unicode.aspx

https://www.javacodex.com/Strings/Get-Unicode-Values-Of-A-String

对于超过65535的unicode会有问题

public class StringUnicode {
   public static void main(String[] args) {
      String str = "abc ABC";
      for (char c : str.toCharArray()) {
         System.out.printf("\\u%04x \n", (int) c); 
      }
   }
}

java中获取字符的unicode值（适用于所有字符）

        String y = new String(Character.toChars(0x2B85B)); // code point转字符串
        System.out.println(y.codePointAt(0)); // 字符串转 code point

        String y1 = new StringBuilder().appendCodePoint(0x2B85B).toString(); // StringBuilder 也支持 code point
        System.out.println(y1);

        String x = "\uD86E\uDC5B";
        System.out.println(x);

        /**
         * char 不同的赋值类型
         */
        //char c = '\u0061';
        //char c = 0x61;
        //char c = 97;
        char c = 'a';

        System.out.println(c);

php中unicode操作

　　Unicode codepoint 转译语法

　　这接受一个以16进制形式的 Unicode codepoint，并打印出一个双引号或heredoc包围的 UTF-8 编码格式的字符串。可以接受任何有效的 codepoint，并且开头的 0 是可以省略的。

    public function test4(){

        echo "\u{aa}";
        echo "\u{0000aa}";
        echo "\u{9999}";

    }

需要扩展（国际化与字符编码）支持 https://secure.php.net/manual/zh/class.intlchar.php

    public function test4(){

        $values = ["A", 63, 123, 9731];
        foreach ($values as $value) {
            var_dump(IntlChar::chr($value));
        }
    }

新增加的 IntlChar 类旨在暴露出更多的 ICU 功能。这个类自身定义了许多静态方法用于操作多字符集的 unicode 字符

<?php

printf('%x', IntlChar::CODEPOINT_MAX);
echo IntlChar::charName('@');
var_dump(IntlChar::ispunct('!'));

超过U+FFFF的码位也支持

        $a = "?";
        $str = json_encode($a);
        var_dump($str);

        var_dump(json_decode($str));

        // output
        //  string(14) ""\ud86e\udc5b""
        //string(4) "?"

// 您可以直接在PHP中对字符进行编码 \x 二进制转义。该 \x 转义语法也是 PHP 5支持
echo("\xE3\x82\xA2");

UTF-8 使用一至四个字节为每个字符编码，其中大部分汉字采用三个字节编码，少量不常用汉字采用四个字节编码。

UTF-16 使用二或四个字节为每个字符编码，其中大部分汉字采用两个字节编码，少量不常用汉字采用四个字节编码。

Unicode 字符表示形式

char 数据类型（和 Character 对象封装的值）基于原始的 Unicode 规范，将字符定义为固定宽度的 16 位实体。Unicode 标准曾做过修改，以允许那些其表示形式需要超过 16 位的字符。合法代码点 的范围现在是从 U+0000 到 U+10FFFF，即通常所说的 Unicode 标量值。（请参阅 Unicode 标准中 U+n 表示法的定义。）

从 U+0000 到 U+FFFF 的字符集有时也称为 Basic Multilingual Plane (BMP)。代码点大于 U+FFFF 的字符称为增补字符。Java 2 平台在 char 数组以及 String 和 StringBuffer 类中使用 UTF-16 表示形式。在这种表现形式中，增补字符表示为一对 char 值，第一个值取自高代理项 范围，即 (\uD800-\uDBFF)，第二个值取自低代理项 范围，即 (\uDC00-\uDFFF)。

所以，char 值表示 Basic Multilingual Plane (BMP) 代码点，其中包括代理项代码点，或 UTF-16 编码的代码单元。int 值表示所有 Unicode 代码点，包括增补代码点。int 的 21 个低位（最低有效位）用于表示 Unicode 代码点，并且 11 个高位（最高有效位）必须为零。除非另有指定，否则与增补字符和代理项 char 值有关的行为如下：

只接受一个 char 值的方法无法支持增补字符。它们将代理项字符范围内的 char 值视为未定义字符。例如，Character.isLetter('\uD840') 返回 false，即使是特定值，如果在字符串的后面跟着任何低代理项值，那么它将表示一个字母。
接受一个 int 值的方法支持所有 Unicode 字符，其中包括增补字符。例如，Character.isLetter(0x2F81A) 返回 true，因为代码点值表示一个字母（一个 CJK 象形文字）。

在 Java SE API 文档中，Unicode 代码点 用于范围在 U+0000 与 U+10FFFF 之间的字符值，而 Unicode 代码点 用于作为 UTF-16 编码的代码单元的 16 位 char 值。有关 Unicode 技术的详细信息，请参阅 Unicode Glossary。

参见：https://docs.oracle.com/javase/1.5.0/docs/api/java/lang/Character.html#unicode

- A Java char takes always 16 bits.
- A Unicode character, when encoded as UTF-16, takes “almost always” (not always) 16 bits: that’s because there are more than 64K unicode characters. Hence, a Java char is NOT a Unicode character (though “almost always” is).
- “Almost always”, above, means the 64K first code points of Unicode, range 0x0000 to 0xFFF (BMP), which take 16 bits in the UTF-16 encoding.
- A non-BMP (“rare”) Unicode character is represented as two Java chars (surrogate representation). This applies also to the literal representation as a string: For example, the character U+20000 is written as “\uD840\uDC00”.
- Corolary: string.length() returns the number of java chars, not of Unicode chars. A string that has just one “rare” unicode character (eg U+20000) would return length() = 2 . Same consideration applies to any method that deals with char-sequences.
- Java has little intelligence for dealing with non-BMP unicode characters as a whole. There are some utility methods that treat characters as code-points, represented as ints eg: Character.isLetter(int ch). Those are the real fully-Unicode methods.

java中字符串以UTF-16编码格式对字符进行编码

大部分情况下一个char类型等同于该字符的unicode码值，但当unicode码值超过0xFFFF时，会采用两个char（utf-16编码，大端）来存储

因为一个char最大的值为 0xFFFF

参考文章：

　　https://blog.youkuaiyun.com/u014631304/article/details/77509380

　　http://www.fmddlmyy.cn/text16.html

　　https://baike.baidu.com/item/Unicode/750500?fr=aladdin

　　http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

　　http://landcareweb.com/questions/2269/phpzi-fu-chuan-zhong-de-unicodezi-fu

转载于:https://www.cnblogs.com/siqi/p/10251198.html