unicode编码详细介绍

Unicode/ASCII/ANSI/GBK编码介绍 Unicode/ANSI/ASCII 阅读详情
Unicode( 统一码、 万国码、 单一码)是一种在 计算机上使用的 字符编码。它为每种 语言中的每个字符设定了统一并且唯一的 二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发,1994年正式公布。随着计算机工作能力的增强,Unicode也在面世以来的十多年里得到普及。

Unicode 的编码和实现

大概来说,Unicode 编码系统可分为 编码方式和实现方式两个层次。

1. 编码方式

Unicode 的编码方式与 ISO 10646 的 通用字元集(亦称[通用字符集])(Universal Character Set,UCS)概念相对应,目前的用于实用的 Unicode 版本对应于 UCS-2,使用16位的编码空间。也就是每个字符占用2个 字节。这样理论上一共最多可以表示 65,536(2的16次方) 个字符。基本满足各种语言的使用。实际上目前版本的 Unicode 尚未填充满这16位编码,保留了大量空间作为特殊使用或将来扩展。

上述16位 Unicode 字符构成基本多文种平面(Basic Multilingual Plane, 简称 BMP)。最新(但未实际广泛使用)的 Unicode 版本定义了16个辅助平面,两者合起来至少需要占据21位的编码空间,比3字节略少。但事实上辅助平面字符仍然占用4字节编码空间,与 UCS-4 保持一致。未来版本会扩充到 ISO 10646-1 实现级别3,即涵盖 UCS-4 的所有字符。UCS-4 是一个更大的尚未填充完全的31位字符集,加上恒为0的首位,共需占据32位,即4字节。理论上最多能表示 2,147,483,648(2的31次方)个字符,完全可以涵盖一切语言所用的符号。

BMP 字符的 Unicode 编码表示为 U+hhhh,其中每个 h 代表一个 十六进制数位。与 UCS-2 编码完全相同。对应的4字节 UCS-4 编码后两个字节一致,前两个字节的所有位均为0。

2. 实现方式

Unicode 的实现方式不同于编码方式。一个字符的 Unicode 编码是确定的。但是在实际传输过程中,由于不同系统平台的设计不一定一致,以及出于节省空间的目的,对 Unicode 编码的实现方式有所不同。Unicode 的实现方式称为Unicode转换格式(Unicode Translation Format,简称为 UTF)。

例如,如果一个仅包含基本7位 ASCII字 符的 Unicode 文件,如果每个字符都使用2字节的原 Unicode 编码传输,其第一字节的8位始终为0。这就造成了比较大的浪费。对于这种情况,可以使用 UTF-8 编码,这是一种变长编码,它将基本7位ASCII字符仍用7位编码表示,占用一个字节(首位补0)。而遇到与其他 Unicode 字符混合的情况,将按一定算法转换,每个字符使用1-3个字节编码,并利用首位为0或1进行识别。这样对以7位ASCII字符为主的西文文档就大大节省了 编码长度(具体方案参见UTF-8)。类似的,对未来会出现的需要4个字节的辅助平面字符和其他 UCS-4 扩充字符,2字节编码的 UTF-16 也需要通过一定的算法进行转换。

再如,如果直接使用与 Unicode 编码一致(仅限于 BMP 字符)的 UTF-16 编码,由于每个址都不相同, Macintosh机和 PC机 上对字节顺序的理解是不一致的。这时同一字节流可能会被解释为不同内容,如编码为 U+594E 的字符“奎”同编码为 U+4E59 的“乙”就可能发生混淆。于是在 UTF-16 编码实现方式中使用了大尾序(big-endian)、小尾序(little-endian)的概念,以及BOM(Byte Order Mark)解决方案。(具体方案参见UTF-16)

此外 Unicode 的实现方式还包括 UTF-7、Punycode、CESU-8、SCSU、UTF-32等,这些实现方式有些仅在一定的国家和地区使用,有些则属于未来的规划方式。目前通 用的实现方式是 UTF-16小尾序(BOM)、UTF-16大尾序(BOM)和 UTF-8。在微软公司Windows XP操作系统附带的记事本中,“另存为”对话框可以选择的四种编码方式除去非 Unicode 编码的 ANSI 外,其余三种“Unicode”、“Unicode big endian”和“UTF-8”即分别对应这三种实现方式。

目前辅助平面的工作主要集中在第二和第三平面的中日韩统一表意文字中,因此包括 GBK、 GB18030、 Big5等简体中文、正体 中文、 日文、 韩语以及 越南字喃的 各种编码与 Unicode 的协调性被重点关注。考虑到 Unicode 最终要涵盖所有的字符,从某种意义而言,这些编码方式也可视作 Unicode 的出现于其之前的既成事实的实现方式,如同ASCII及其扩展Latin-1一样,后两者的字符在16位 Unicode 编码空间中的编码第一字节各位全为0,第二字节编码与原编码完全一致。但上述东亚语言编码与 Unicode 编码的对应关系要复杂得多。

非 Unicode 环境

在非 Unicode 环境下,由于不同国家和地区采用的字符集不一致,很可能出现无法正常显示所有字符的情况。 微软公 司使用了代码页(Codepage)转换表的技术来过渡性的部分解决这一问题,即通过指定的转换表将非 Unicode 的字符编码转换为同一字符对应的系统内部使用的 Unicode 编码。可以在“语言与区域设置”中选择一个代码页作为非 Unicode 编码所采用的默认编码方式,如936为简体中文GBK,950为正体中文Big5(皆指PC上使用的)。在这种情况下,一些非英语的欧洲语言编写的软件和 文档很可能出现乱码。而将代码页设置为相应语言中文处理又会出现问题,这一情况无法避免。从根本上说,完全采用统一编码才是解决之道,但目前上无法做到这 一点。

代码页技术现在广泛为各种平台所采用。UTF-7 的代码页是65000,UTF-8 的代码页是65001。
XML 和 Unicode

XML及其子集 HTML采用UTF-8作为标准字集,理论上我们可以在各种支持XML标准的 浏览器上显示任何地区文字的 网页,只要 电脑本身安装有合适的字体即可。可以利用&#nnn;的格式显示特定的字符。nnn代表该字符的十进制 Unicode 代码。如果采用十六进制代码,在编码之前加上x字符即可。但部分旧版本的浏览器可能无法识别十六进制代码。

然而部分由于 Unicode 版本发展原因,很多浏览器只能显示 UCS-2 完整字符集也即现在使用的 Unicode 版本中的一个小子集。下表可以检验您的浏览器怎样显示各种各样的 Unicode 代码:

代码 字符标准名称 (英语) 在浏览器上的显示

A&#大写拉丁字母"A" A

&#szlig; 小写 拉丁字母"Sharp S" ß

&#thorn; 小写 拉丁 字母"Thorn" þ

Δ大写 希腊字母"Delta" Δ

Й 大写 斯拉夫字母"Short I" Й

ק 希伯来字母"Qof" ק

م 阿拉伯字母 "Meem" م

๗泰文数字 7 ๗

ቐ 埃塞俄比亚 音节文字"Qha" ቐ

あ 日语 平假名 "A" あ

ア日语 片假名 "A" ア

叶简体 汉字 "叶" 叶

叶 繁体汉字 "叶" 叶

엽 韩国音节文字 " Yeob" 엽

输入Unicode

除了 输入法外, 操作系统会提供几种方法输入Unicode。像是 Windows 2000之后的Windows系统就提供一个可点击的表。例如在 Microsoft Word或者金山WPS之下,按下 Alt 键不放,输入 0 和某个字符的 Unicode 编码( 十进制),再松开 Alt 键即可得到该字符,如Alt + 033865会得到Unicode字符“叶”(繁体)。另外按Alt + X 组合键,MS Word 也会将光标前面的字符同其十六进制的四位 Unicode 编码进行互相转换。

Unicode 编码表反弹

0000-0FFF 8000-8FFF 10000-10FFF 20000-20FFF 28000-28FFF

1000-1FFF 9000-9FFF   21000-21FFF 29000-29FFF

2000-2FFF A000-AFFF   22000-22FFF 2A000-2AFFF

3000-3FFF B000-BFFF   23000-23FFF   

4000-4FFF C000-CFFF 1D000-1DFFF 24000-24FFF 2F000-2FFFF

5000-5FFF D000-DFFF   25000-25FFF   

6000-6FFF E000-EFFF   26000-26FFF   

7000-7FFF F000-FFFF   27000-27FFF E0000-E0FFF

Unicode 目前已经有5.0版本。世界上有一大批计算机、语言学等科学家专门研究Unicode,到了现在Unicode标准已经不单是一个编码标准,还是记录人类语言文字资料的一个巨大的数据库,同时从事人类文化遗产的发掘和保护工作。
对于中文而言,Unicode 16编码里面已经包含了GB18030里面的所有汉字(27484个字),目前Unicode标准准备把 康熙字典的所有汉字放入到Unicode 32bit编码中。

简单地说,Unicode扩展自ASCII字元集。在严格的ASCII中,每个字元用7位元表示,或者电脑上普遍使用的每字元有8位元宽;而 Unicode使用全16位元字元集。这使得Unicode能够表示世界上所有的书写语言中可能用於电脑通讯的字元、象形文字和其他符号。Unicode 最初打算作为ASCII的补充,可能的话,最终将代替它。考虑到ASCII是电脑中最具支配地位的标准,所以这的确是一个很高的目标。

Unicode影响到了电脑工业的每个部分,但也许会对作业系统和程序设计语言的影响最大。从这方面来看,我们已经上路了。Windows NT从底层支持Unicode(不幸的是,Windows 98只是小部分支援Unicode)。先天即被ANSI束缚的C程序设计语言通过对宽字元集的支持来支持Unicode。
如果您认为本词条还有待完善,需要补充新内容或修改错误内容,

UE4免费资产库新玩法:Quixel Bridge插件安装与Megascans资源导入全攻略 本文详细介绍了如何在UE4中安装Quixel Bridge插件并导入Megascans资源,帮助开发者快速获取高质量3D资产。通过分步教程和实用技巧,提升游戏或影视场景的制作效率,特别适合需要真实感环境的项目。 阅读详情

相关推荐

QQ技术大总结

此贴只是一些对q友有用的东西,也许有人知道,高手勿喷。进如正题~ 1. 进入访问受限的qq空间 在地址栏里输入 http://qqxoo.com/main.html?qqid=qq号这样就可能看对方的空间 http://qqshow-user.tencent.com/qq号/11/00 看mm的qq绣 http://shuqian.qq.com/qq号/ qq书签 ...

weixin_33845881的博客 1273

【Qt】Unicode编码作用 ,以及在Qt中的理解

Unicode编码的作用是提供一个统一的字符标准,解决字符编码混乱问题

qingshanlvshui9的博客 1775

Win10平台下QT6.9.0 OpenCV 4.10.0从入门到精通

我最近开发一个视觉项目,我们从0开始记录在windows 10下 用QT6.9+OpenCV 4.10.0搞定整个项目的开发过程。以抛砖引玉,大家共同进步。

fds111111的博客 1715

为何要用Unicode?

Unicode 是为了解决传统的字符编码方案的局限而产生的,例如ISO 8859所定义的字符虽然在不同的国家中广泛地使用,可是在不同国家间却经常出现不兼容的情况。很多传统的编码方式都有一个共同的问题,即容许电脑处理双语环境(通常使用拉丁字母以及其本地语言),但却无法同时支持多语言环境(指可同时处理多种语言混合的情况)。  开发人员在开发应用程序时候通常使用Unicode字符和字符串。能够

土豆的博客 4114

【数字图像相关-OpenCorr学习笔记】Epipolar search原理+代码解析

OpenCorr是一个开源C++库,用于研究和开发数字图像相关(DIC)技术它提供了2D和立体声DIC的全功能模块,以及数字体积相关(DVC)。最近正在学习OpenCorr,为了更深层次地理解ICGN,我打算浅浅剖析Opencorr的代码,学习的过程中写下这篇学习笔记,以后忘记了还能回来看看。同时,作为一名在读研究生,希望能得到社区大佬的指点,以及跟同学们一起学习进步。这一期主要讲解Eipipolar search的原理,并且附上部分代码解析。

ywyywyy的博客 1359

一分钟学会MATLAB-数据清洗(含完整代码)

数据清洗是数据分析过程中的一个重要步骤,目的是提高数据的质量,以便进行更有效的分析。% 删除超出阈值的行。% 用线性插值填充缺失值。% 删除包含缺失值的行。% 找到缺失值的位置。% 可视化数据,识别异常值。缺失值是数据清洗中常见的问题。通过以上步骤,你可以有效地清洗数据,使其准备好进行后续的分析和建模。

2402_87132195的博客 3317

Unicode

Unicode 问答   问:什么是Unicode?答:Unicode给每个字符提供了一个唯一的数字,不论是什么平台,不论是什么程序,不论什么语言。Unicode标准已经被这些工业界的领导们所采用,例如:Apple, HP, IBM, JustSystem, Microsoft, Oracle, SAP, Sun, Sybase, Unisys和其它许多公司。最新的标准都需要Unicode,例如X

SanShao的专栏 1241

VCSA 6.7证书过期别慌!手把手教你通过SSH修改系统时间恢复登录(附STS证书修复脚本)

本文详细介绍了VCSA 6.7证书过期的应急处理方案,包括通过SSH修改系统时间临时恢复登录、全面更新证书体系以及专项修复STS证书的实战步骤。文章还提供了后期验证和系统加固的建议,帮助运维人员有效应对证书过期问题,确保虚拟化平台的稳定运行。

weixin_31292729的博客 418

Unicode编码在JavaScript中的作用是什么?

Unicode编码 在字符串中,使用转义字符输出Unicode编码 \u + 4位编码 <script> console.log("0031"); //返回:0031 </script> 加 \u 表示这个是Unicode编码 <script> console.log("\u0031"); //返回:1 </script>

木木木森林 1719

1、动作捕捉技术:概述与历史

本博文全面介绍了动作捕捉技术的概念、历史演变、类型分类以及完整的工作流程。从早期的连续摄影技术到现代数字动作捕捉系统,文章深入探讨了光学、磁性和机械动作捕捉系统的优缺点及适用场景,并详细解析了动作捕捉数据的生成原理与数学基础。此外,还涵盖了特殊部位如手部、面部和木偶的动作捕捉方法,并讨论了动作捕捉在动画制作、虚拟现实、医疗康复等领域的广泛应用与发展前景。

apple5的专栏 222

基于Spring Boot 3 + Vue 3 + UniApp的全栈高校社团管理小程序设计与实现

requestMatchers("/api/auth/**", "/doc.html", "/webjars/**", "/v3/api-docs/**").permitAll() // 公开接口。<u-search placeholder="搜索活动" v-model="searchKeyword" @search="loadActivities" :showAction="false"></u-search>R.success("活动创建成功") : R.error("活动创建失败");

2201_76125393的博客 370

彻底弄懂 Unicode 编码

今天,在学习 Node.js 中的 Buffer 对象时,注意到它的alloc和from方法会默认用UTF-8编码,在数组中每位对应 1 字节的十六进制数。想到了之间学习 ES6 时关于字符串的 Unicode 表示法,突然就很想知道 UTF-16 是如何进行编码的,我尝试将一些汉字转换成二进制数,然后简单的按 2 个字节一组转换成十六进制,发现对于那些码点较大的汉字,结果并不仅仅是简...

zhoudatianchai的专栏 1万+

机器学习算法原理:详细介绍各种机器学习算法的原理、优缺点和适用场景

现在,我们将进入到机器学习的核心部分——算法原理。在本篇文章中,我们将详细探讨各种机器学习算法的原理、优缺点和适用场景。

a871923942的博客 2966

Unicode编码解码的全面介绍

title: Unicode编码解码的全面介绍。

https://blog.cmdragon.cn/ 1427

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

计算机编码知识,ASCII编码,GBK,Unicode,UTF-8编码详细介绍

文章目录1. 编码的作用1. 方便和统一管理2. 常用的编码方式1. ASCII编码,英文存储到计算机里面2. GB2312编码和GBK编码,将中文存储到计算机3. Unicode字符集,将全世界的文字存储到计算机3. UTF-8 和 Unicode 的关系1. utf-8编码 这篇文章写得很详细 1. 编码的作用 文字或者数据存储在计算机内是二进制的方式。 但是同样一个文字或者字符 存储的二进制数值是多少,就能编码有关。 比如 甲 把 字符 A 存在电脑里 是 001 但是 乙把 字符 A 存在电脑里

梦悦foundation 6580

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

chatgpt赋能python:Python的Unicode编码介绍

以上只是chatgpt能力的冰山一角。文章没有在chatgpt生成的基础上进行任何的修改。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。

m0_56069948的博客 1069

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Unicode编码介绍(手写图片版)

tdw2011的专栏 911

python 中unicode编码解码介绍,解决各种编码类错误

一、编码的种种问题 背景: 使用linux开发环境,scureCRT客户端;想使用utf-8编码         1. 程序文件编码 就是你的程序文本文件保存时选取的编码,通过 file -i test_encoding.py 来查看   如果不是UTF-8,假设是GBK,可以使用命令 iconv -f GBK -t utf-8 test_encode.py > tmp; mv tmp

baidu_ld的专栏 3695

Unicode编码详细介绍

Unicode使用16位(即2个字节)的数字来表示一个字符,这称为"码点"(code point)。然而,由于字符数量的增加,Unicode 10.0版本之后引入了更多的码点,这些码点超出了基本多文种平面(BMP),需要使用代理对(surrogate pairs)在UTF-16编码中表示。1. 唯一性:每个字符都有一个唯一的码点(code point),确保了字符的唯一性。UTF-32:使用4个字节来表示一个字符,每个字符的码点直接映射为字节序列。

qq_35902025的博客 2027

UTF8 编码方式,以及GB2312、Unicode、UCS等编码介绍。

先介绍一下各种编码方式的,再详细说下utf8的编码规则。 1、GB2312 系列(Big5 GBK GB18030) 早期的计算机使用7位的ASCII编码,为了处理汉字,程序员设计了用于简体中文的GB2312和用于繁体中文的big5。GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号,它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的

elfylin的专栏 2762

Unicode编码表(全)资源介绍

Unicode编码表(全)资源介绍 去发现同类优质开源项目:https://gitcode.com/ Unicode编码表(全)资源文件是一份详尽的编码资料,它全面收录了世界上所有字符的Unicode编码。此资源非扫描版,可以直接复制使用,极大地方便了用户查询与引用。 资源特点 完整性:包含全球所有字符的Unicode编码,无遗漏。 易用性:自带目录,分类清晰,便于快速检索。 可复制性:非扫描版...

gitblog_06795的博客 292

Unicode编码表全资源介绍:全面收录全球字符编码

Unicode编码表全资源介绍:全面收录全球字符编码 去发现同类优质开源项目:https://gitcode.com/ Unicode编码表(全)资源,是开发者和字符研究者不可多得的宝藏。本文将为您详细介绍这个项目的核心功能、技术分析、应用场景及其特点,让您深入了解并高效使用这份资源。 项目介绍 Unicode编码表(全)资源文件是一份详尽的编码资料,收录了全球所有字符的Unicode编码。这份资...

gitblog_06743的博客 442

ASCII Unicode UTF-8等等编码介绍

这是个很重要的特性,所以很多情况下(如很多协议传输数据时)都使用ISO 8859-1编码,由于ISO-8859-1编码范围使用了单字节内的所有空间,在支持ISO 8859-1的系统中传输和存储其他任何编码的字节流都不会被抛弃。通过查询下文将要介绍的GB2312编码表,“中文”应该是"d6d0 cec4"两个字符,使用ISO 8859-1编码来“表示”的时候则将它拆开为4个字节来表示,即"d6 d0 ce c4"(事实上,在进行存储的时候,也是以字节为单位处理的)。如果是低字节序,就写入FF FE。

码灵的博客 1121

ASCII码、Unicode编码和UTF-8编码介绍

1.ASCII码 2.Unicode编码 3.UTF-8编码

HHppGo的博客 264

java字符编码unicode和utf-*介绍

前言 记得最初学习语言的时候,对于字符编码的概念搞不清楚,网上的言论总是感觉戳不到自己的痒点,对于轻度强迫症来说,蓝瘦啊。随着在it行业浸淫许久,自己遥想当年那过不去的坎,今天也写一些关于字符编码的简介,简单,希望能帮助大家解决疑问。 字符集和字符编码 字符集,就是说字符的集合,比如汉字,就是一个字符集,其中包括了所有的汉字,以及一定的字典中排序,字符集针对的是字符。 字符编码,是字符集和...

HELLOW,文浩 452

ASCII、gbk、Unicode、utf编码介绍及异同

ASCII、Unicode、GBK、UTF编码介绍及异同 使用Python时会时常遇到编码问题,这是我的一些小结。 参考链接: https://blog.youkuaiyun.com/QuinnNorris/article/details/78705723 https://www.cnblogs.com/geons/p/9352256.html 相关概念 字符 各种文字和符号的总称,包括各个国家文字、标点...

weixin_43458262的博客 2万+
上一篇: COM组件
下一篇: 我该使用何种语言
zxycode007
博客等级 码龄18年 53粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值