java utf16 encoding

最新推荐文章于 2022-07-27 17:02:41 发布
最新推荐文章于 2022-07-27 17:02:41 发布
阅读量152 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： java 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iteye_3911/article/details/82394132
Unicode的码空间从U+0000到U+10FFFF
UTF16分为17个多文种平面(multilingual plane),其中基本多文种平面的范围是0x0000-0xFFFF,其他的成为辅助文本平面.
基本多文种平面的每个编码对应一个字符,或称作代码元,特殊的情况是:
U+D800到U+DFFF之间的码位区段是永久保留不映射到字符，因此UTF-16利用保留下来的0xD800-0xDFFF区段的码位来对辅助平面的字符的码位进行编码。

从u+10000到u+10ffff的码位
辅助平面(Supplementary Planes)中的码位，在UTF-16中被编码为一对16比特长的码元(即32bit,4Bytes)，称作 code units called a 代理对(surrogate pair), 具体方法是：
码位减去0x10000, 得到的值的范围为20比特长的0..0xFFFFF.
高位的10比特的值(值的范围为0..0x3FF)被加上0xD800得到第一个码元或称作高位代理(high surrogate), 值的范围是0xD800..0xDBFF. 由于高位代理比低位代理的值要小，所以为了避免混淆使用，Unicode标准现在称高位代理为前导代理(lead surrogates).
低位的10比特的值(值的范围也是0..0x3FF)被加上0xDC00得到第二个码元或称作低位代理(low surrogate), 现在值的范围是0xDC00..0xDFFF. 由于低位代理比高位代理的值要大，所以为了避免混淆使用，Unicode标准现在称低位代理为后尾代理(trail surrogates).


由于高位代理、低位代理、BMP中的有效字符的码位，三者互不重叠，搜索是简单的: 一个字符编码的一部分不可能与另一个字符编码的不同部分相重叠。这意味着UTF-16是自同步(self-synchronizing): 可以通过仅检查一个码元就可以判定给定字符的下一个字符的起始码元. UTF-8也有类似优点，但许多早期的编码模式就不是这样，必须从头开始分析文本才能确定不同字符的码元的边界.(这是因为所有从u+10000到u+10ffff的码位全都表示成了一对16比特长的码元,而前一个码元落在0xD800..0xDBFF,后一个码元落在0xDC00..0xDFFF.所以,只要你发现有一个码元处于0xD800..0xDfFF,那么这个码元一定是UTF16编码的一个部分,而且你能确定他是高位代理或者是低位代理.)
java中各种字符编码通过字节向16进制的互转：UTF8|GBK|unicode 字符串＜=＞字节序列＜=＞16进制字符串
专注于计算机研发知识和资讯分享
12-23 1636
定义了一个hexToString方法，它接受一个16进制的字符串，然后将其每两个字符作为一个字节转换为对应的字符，并最终拼接成一个普通的字符串。在java或者其他语言中，字符是以字节的形式存在的，UTF8 、GBK、 unicode 不同的编码格式。字符串->字节数组->16进制字符串。
UTF-8和UTF-16使用对比
郭胜龙的技术博客
12-23 3859
UTF-16  说到 UTF 必须要提到 Unicode（Universal Code 统一码），ISO 试图想创建一个全新的超语言字典，世界上所有的语言都可以通过这本字典来相互翻译。可想而知这个字典是多么的复杂，关于 Unicode 的详细规范可以参考相应文档。Unicode 是 Java 和 XML 的基础，下面详细介绍 Unicode 在计算机中的存储形式。  UTF-16 具体
java utf16 to utf8_Java String类涉及到UTF16编码的几个概念 | 学步园
weixin_42387482的博客
02-16 186
Code points U+0000 to U+D7FF and U+E000 to U+FFFFThe first plane (code pointsU+0000 to U+FFFF) contains the most frequently used characters andis called theBasic Multilingual PlaneorBMP. Both UTF-1...
unicode,UTF-8,UTF-16,UTF-32是什么，各有什么关系
weixin_45629646的博客
09-17 1086
1.Unicode（统一码、万国码、单一码）是计算机科学领域里的一项业界标准，包括字符集、编码方案等。是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。通常用两个字节表示一个字符，原有的英文编码从单字节变成双字节，只需要把高字节全部填为0就可以。是为了解决传统的字符编码方案的局限而产生的。 2.UTF-...
C# 小叙 Encoding (一)
weixin_30732487的博客
08-07 545
前言 众所周知计算机只能识别二进制数字，如1010,1001。我们屏幕所看到的文字，字符都是和二进制转换后的结果。将我们的文字按照某种规则转换二进制存储在计算机上，这一个过程叫字符编码，反之就是解码。目前存在多种字符编码方式，一组二进制数字根据不同的解码方式，会得到不同的结果，有时甚至会得到乱码。这也就是为什么我们打开网页时有时会是乱码，打开一个文本文件有时也是乱码，而换了一种编码就恢复...
字符集,字体,编码,代码页,输入法
chidiexuan6338的博客
10-13 829
前言 0) 、 计算机中的信息包括数据信息和控制信息，数据信息又可分为数值和非数值信息。非数值信息和控制信息包括了字母、各种控制符号、图形符号等，它们都以二进制编码方式存入计算机并得以处理，这种对字母和符号进行编码的 二进制代码称为字符代码（Char...
ChangeEncoding:批量更改文件编码，现在支持GBK，UTF8，UTF-16LE，UTF-16BE，Java
05-16
change file encoding in batches, now support UTF-8,GBK,UTF-16LE,UTF-16BE, Java java -Dfile.encoding=utf-8 -mx1000m -jar ChangeEncoding-1.0.jar inputPath outPath in_encoding out_encoding in_encoding 是...
java 中file.encoding的设置详解
08-30
Java会根据`file.encoding`属性来确定默认的字符集，例如ISO-8859-1或UTF-8。这个属性的值可以在JVM启动时通过命令行参数 `-Dfile.encoding="charset_name"` 来设定，其中`charset_name`是想要使用的字符集名称。...
FileEncoding:将项目java文件编码转换为UTF-8
06-07
文件编码 将项目java文件编码转换为UTF-8 如何使用 首先，从下载 然后，确保您的计算机已安装 JRE 并添加了 Java 环境变量 最后：在 Windows 中：dbclick linux/unix 中的 run.bat：$ ./run.sh
Unicode了解一下：码位分布
oyji1992的博客
04-21 6140
Unicode Unicode的编码范围为U+0000 ~ U+10FFFF，一共包含216∗17=1114112216∗17=11141122^{16} * 17 = 1114112个码位。 整个编码空间划分为17个平面（plane），每个平面包含216=65536216=655362^{16}=65536个码位（codepoint）。 其中0号空间叫做基本多文种平面（Basic Mu...
深入的谈一谈，字符集的编码方式。
xuheazx的专栏
08-04 967
由于接触到的编码方式比较多，比较杂，比较容易搞混，而且经常性
（转载）Unicode字符集和编码格式详解
honyer455的博客
03-01 591
字符集的概念实际上包含两个方面，一个是字符的集合，一个是编码方案。通常来说，一个字符集不仅仅定义字符集合，它还为每个符号定义一个二进制编码。例如当我们提到GB2312或者ASCII的时候，它隐式地指明了编码方案是GB2312或者ASCII。 但是Unicode字符集例外，它存在着几种不同的编码方式，例如: UTF-8 UTF-16 UTF-32; 其中UTF-8和UTF...
计算机基础：今天一次把 Unicode 和 UTF-8 说清楚
pengxurui的博客
07-27 828
在日常开发过程中，Unicode & UTF-8 并不是很受关注的知识，但在阅读源码或文章时，出现频率很高。如果你没有理解清楚 Unicode、UTF-8、UTF-16 和 UTF-32 之前的关系，会带来阅读障碍。在这篇文章里，我将带你理解 Unicode 字符集的原理，希望能帮上忙。...
[十]基础数据类型之Unicode编码简介
noteless的博客
10-11 1178
编码含义 关于编码的含义,之前也说过,计算机只能存储二进制序列 所以对于字符,保存的时候,需要进行编码为二进制,进行存储 呈现的时候,需要将二进制进行解码,转换成字符的形式 有很多种编码方式,比如ASCII (American Standard Code for Information Interchange，美国信息交换标准代码） 使用一个字节进行编码,一个字节可以表示的最大值...
Unicode字符集
u010627840的专栏
11-12 2168
最近研究String类的源码时，看到一个构造方法 public String(int[] codePoints, int offset, int count),好奇之下进入查看发现是将Unicode转为字符串的方法。再细细查看，发现Character.isBmpCodePoint(c)``Character.isValidCodePoint(c)，先说几个概念 1.几个概念 Unicode
Java中的字符编码（Unicode、UTF-8、UTF-16）的那些事儿
java开发指南博客 【转载】
08-11 530
首先看一下下面的程序（测试英文和中文在Unicode、UTF-8、UTF-16这三种编码下，一个字符占几个字节） System.out.println("a(Unicode) ：" + "a".getBytes("Unicode").length); System.out.println("a(Unicode) ：" + "aa".getBytes...
UTF-8和UTF-16的区别是啥?
sunnykj的专栏
07-01 1668
今天发现以前程序里的xml文件的头里，竟然都是encoding="utf-16"的，在这之前我还以为都是utf-8呢。都不知道怎么解释了。想知道UTF-8和UTF-16的区别
java unsupported content encoding utf-8
最新发布
03-19
### Java 中处理 UTF-8 编码问题的解决方案 在 Java 中遇到 `unsupported content encoding utf-8` 的错误通常是因为程序尝试读取或写入的内容未被正确识别为 UTF-8 编码。以下是详细的分析和解决方法： #### 1. 设置 JVM 参数 确保启动应用程序时设置了 `-Dfile.encoding=UTF-8` 参数，这可以强制 JVM 使用 UTF-8 作为默认字符集[^1]。 ```bash java -Dfile.encoding=UTF-8 -jar your-application.jar ``` #### 2. 明确指定文件流编码 当操作文件输入输出流时，应显式设置编码方式为 UTF-8，而不是依赖系统的默认编码。例如，在读取文件时可使用如下代码： ```java import java.io.BufferedReader; import java.io.InputStreamReader; public class Utf8Reader { public static void main(String[] args) throws Exception { try (BufferedReader reader = new BufferedReader(new InputStreamReader(System.in, "UTF-8"))) { String line; while ((line = reader.readLine()) != null) { System.out.println(line); } } } } ``` 上述代码通过 `InputStreamReader` 构造函数指定了 `"UTF-8"` 编码[^3]。 #### 3. 配置 Web 应用中的请求响应编码 如果是在开发基于 Servlet 或 JSP 的 Web 应用，则需配置 HTTP 请求和响应的编码格式。可以在过滤器中统一设置： ```java response.setCharacterEncoding("UTF-8"); request.setCharacterEncoding("UTF-8"); ``` 对于 Spring Boot 用户，可以通过以下方式全局设定编码： ```yaml server: tomcat: uri-encoding: UTF-8 spring: http: encoding: charset: UTF-8 enabled: true force: true ``` #### 4. 数据库连接字符串中的编码参数 数据库交互过程中也可能引发类似的编码异常。以 MySQL 连接为例，应在 JDBC URL 后附加 `useUnicode=true&characterEncoding=UTF-8` 参数来保障数据传输的一致性[^4]。 ```properties jdbc:mysql://localhost:3306/mydb?useUnicode=true&characterEncoding=UTF-8 ``` 以上措施能够有效应对大多数场景下的 UTF-8 支持不足的情况。然而需要注意的是，实际应用环境中很少会频繁涉及字符数量统计等问题，因此除非必要，一般无需特别关注此方面功能实现细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值