字库表、编码字符集、字符编码

车牌字符库 用于车牌识别中字符分割的车牌字符库,拥有4000多张照片 立即下载

参考文章:
1、十分钟搞清字符集和字符编码
2、字符编码与字符集的区别
3、字符编码笔记:ASCII,Unicode 和 UTF-8


以下概念,是我根据参考文章,整理来相应的逻辑推断出来的(因为暂时没有找到确切的文献),可能会参考文章原文中的定义存在差异,如有错误,欢迎指正,也欢迎不同想法的沟通。

字库表(character repertoire):相当于一个 所有 可读或者可显示字符的数据库(可读的字符不一定能够直观的显示出来,如回车)。其决定了编码字符集能够展示的字符的范围。每一种编码字符集,应该都对应着一个字库表。例如 ASCII 字符集,对应的字库表就是由换行、回车等控制字符,和数字、大小写字母、英文标点符号等 128 个字符组成的。且这 128 个字符,是按照一定顺序来排列的。这里需要注意,字库表本身只包含按照顺序排序的字符,而不包含标记字符位置的序号。

编码字符集(coded character set):是字库表中所有字符以及对应的编码的集合(这里的 “编码”,是名词)。每一个编码(Code Point),都是一个二进制代码(因为计算机的底层就是基于二进制的),且都对应着字库表中的一个字符(就类似于摩斯电码,A 对应的代码为 ·-)。而该编码,一般取值为字符在字库表中的位置序号。

从某种形式上来说,编码字符集是字库表的扩展。

字符编码:(这里的 “编码”,是动词)是一种映射规则,通过这种规则,就可以把存储二进制的数据转换成对应的字符,或者把字符转换为用于存储的二进制数据。而不是直接将编码字符集中的编码进行存储,不依照规则,则可能出现乱码。

因为字符集只规定了字符的二进制代码,却没有规定这个二进制代码如何存储。因此,就需要 “字符编码” 来处理了,即参考某一规则,将原始的二进制代码进行加工,才能进行存储。反过来,也需要根据这一规则将存储的内容进行解码,才能。另外,一个编码字符集,可以对应多种不同的字符编码。

编码字符集 Unicode,有 UTF-8、UTF-16、UTF-32 等多种字符编码。
编码字符集 ASCII,即对应着 ASCII 字符编码。
编码字符集 CB2312,只有 EUC-CN 一种字符编码。

以 Unicode 字符集举例,它对世界上大部分的文字系统进行了整理、编码,使得计算机可以用更为简单的方式来呈现和处理文字。

UTF-8 是其常用的字符编码之一。它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。

(1)比如 大写字母 A,其在 Unicode 字符集中对应的编码为 1000001(二进制)。经过 UTF-8 字符编码后,为 01000001。

其中 1000001 为原始 Unicode 字符集的二进制编码,01000001 为在计算器中存储时的二进制代码。这两者是要进行区别的。

(2)对于汉字 严,其在 Unicode 字符集中对应的编码为 100111000100101(二进制)。经过 UTF-8 字符编码后,为 11100100 10111000 10100101。(参考自:字符编码笔记:ASCII,Unicode 和 UTF-8)

至于具体的 UTF-8 的编码规则,也可以参考 字符编码笔记:ASCII,Unicode 和 UTF-8


Lumerical FDTD新手教程:5步搞定MMI波导光谱模拟(附避坑指南) 本文提供Lumerical FDTD新手教程,详细讲解5步完成MMI波导光谱模拟的实用方法,包括环境准备、结构建模、光源配置、仿真优化和结果分析。特别针对多模干涉耦合器(MMI)的模拟难点,提供避坑指南和优化策略,帮助光学工程师快速掌握FDTD仿真技术。 阅读详情

相关推荐

【通信协议】I2C总线(一主多从)

I2C总线(一主多从)之软件模拟代码详解

m0_75090944的博客 9838

搞清字库表、编码字符集、字符编码

在介绍字符集之前,我们先了解下为什么要有字符集。我们在计算机屏幕上看到的是实体化的文字,而在计算机存储介质中存放的实际是二进制的比特流。那么在这两者之间的转换规则就需要一个统一的标准,否则把我们的U盘插到老板的电脑上,文档就乱码了;小伙伴QQ上传过来的文件,在我们本地打开又乱码了。 什么是字符集 在介绍字符集之前,我们先了解下为什么要有字符集。我们在计算机屏幕上看到的是实体化的文字,而在计

xcymorningsun的专栏 6357

量化实战:如何用Barra多因子模型给你的投资组合做一次‘风险体检’?

本文详细介绍了如何利用Barra多因子模型对投资组合进行全面的风险体检,帮助投资者识别行业和风格因子的风险暴露。通过实战案例和Python代码示例,展示了数据采集、风险归因和组合优化的完整流程,提升投资组合的风险调整收益。

weixin_27215337的博客 323

MySQL 字符集概念与原理及如何配置字符集 - 超详细图文详解

MySQL 字符集概念与原理及如何配置字符集?我们在使用 MySQL 的过程中,经常会碰到诸如乱码之类的问题。字符编码与字符集密切相关,MySQL 支持种类繁多的字符集类型,这些字符集到底如何影响 MySQL 数据存储与数据在客户端与服务端之间的传输的呢?我们该如何选择并配置正确的字符集?你真的理解 character_set_client、character_set_connection 和 character_set_results 三个变量的含义吗?那就通过这篇文章来帮你捋清细节和解除困扰吧!

指尖流连敲击梦想,代码行行承载远方! 1万+

从零搭建Arduino仿真开发环境:SimulIDE与IDE配置全攻略

本文详细介绍了如何从零搭建Arduino仿真开发环境,涵盖SimulIDE与Arduino IDE的配置全流程。通过仿真模拟环境,开发者可以零成本试错,快速验证电路设计和程序逻辑,特别适合初学者和便携开发需求。文章提供了软件安装、环境配置、项目实战及问题排查的完整指南,帮助读者高效掌握Arduino仿真开发技巧。

weixin_29284657的博客 518

【干货】SAP物料分类账的简单理解

一、SAP物料分类账理解 物料分类账,简称ML(material ledger),其基本用途是可以用八个字概括“还原成本”、“还原库存”。即通过月底运行物料分类账,将库存差异(原材料-材料成本差异、库存商品-自制半成本差异、库存商品-自制产成品差异)自动按当期库存出库数和库存结存数的比例分摊至成本和库存中。为了理解其概念,可以简单举一个例子: 开一工单,生产A产品,数量为3个,当月全部生产完工

ERP运维咨询(目标和成功) 1万+

字符集与字符编码

先弄懂什么是字符集,什么是字符编码。 区别和联系 字符集是多个字符的集合,可以理解为二进制数,与字符的映射关系,唯一的一个编号就代表一个字。 字符编码是计算机中对字符的表示方式。 字符集与字符编码可以这样区分: 1.字符集是书写系统字母与符号的集合。 2.字符编码则是将字符映射为一特定的字节或字节序列,是一种规则。 Unicode和UTF Unicode是字符集,utf-8、utf-16、utf-32是编码方式。这一点要注意区分。utf编码要先转成unicode再显示。这里不会讲解每个编码方式的具体细节,只

m0_65931372的博客 3770

踩坑实录:C#上位机YOLOv11从2FPS到45FPS,ONNX Runtime GPU加速全解析

算力迁移:将推理核心从CPU迁移至GPU(核心提速手段);内存复用:避免重复分配/释放内存,减少GC压力;维度固定:工业场景固定输入分辨率,关闭动态维度;资源限制:合理限制GPU/CPU/内存占用,避免资源耗尽;解耦设计:推理线程与UI线程解耦,避免跨线程问题。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 570

3字符编码和字库原理

//字符1>:字符(Character):是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。 2>:字符集(Character set):是多个字符的集合,字符集种类较多,每个字符集包含的字符个数不同,常见字符集名称:ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。 3>:ASCII字符集:(American...

哲学天空的博客 2287

RH850从0搭建Autosar开发环境【2】- Davinci Configurator配置工程导入DBC与CDD文件

Davinci Configurator配置工程导入DBC与CDD文件,开始Autosar开发

weixin_42412049的博客 8149

2025美赛C题奥运奖牌榜模型(附代码+全保姆教程)Models for Olympic Medal Tables

伟大教练”效应的测量方法定义奖牌变化率:−−​如果变化率显著为正,且超出历史平均增长率,则认为存在“伟大教练”效应。使用统计方法(如t检验)验证教练到来是否带来显著性差异。

博客 6371

字库表、编码字符集、字符编码的基本概念

《1》字库表:一个相当于所有可读或者可显示字符的数据库,字库表决定了整个字符集能够展现表示的所有字符的范围。 《2》编码字符集:(简称字符集,如Unicode、ASCII)用一个编码值code point来表示一个字符,这个值称为字符对应于编码字符集(如:Unicode、ASCII)的序号。 《3》字符编码:是编码字符集和实际存储数值之间的转换关系。字符,是根据字符编码方案转换为一个二进制数值...

u011305848的博客 1641

使用LabVIEW创建和分析柱状图:从基础绘制到高级数据分析的完整指南

LabVIEW,全称为Laboratory Virtual Instrument Engineering Workbench,是由美国国家仪器公司(National Instruments, NI)开发的一款图形化编程语言。自1986年首次推出以来,LabVIEW凭借其强大的数据采集、分析和控制能力,在工程、科研、教育等领域得到了广泛应用。与传统的文本编程语言不同,LabVIEW采用了图形化编程方式,用户通过连接不同的函数节点来实现复杂的逻辑和算法。

qq_38334677的博客 774

字符编码与字符集的区别

一、基本概念   1、什么是字符集: 字符集只是一个规则集合的名字, 字符集 = 字库表(character repertoire)、编码字符集(coded character set)、字符编码(character encoding form)。 2、字库表: 字库表是一个相当于所有可读或者可显示字符的数据库,字库表决定了整个字符集能够展现表示的所有字符的范围。 3、编码字符集

错觉 1万+

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Unicode与UTF8:字符集与字符编码的关系

110之后的所有部分(5个bit)加上后一个字节的除10外的部分(6个bit)代表在Unicode中的序号。GB18030:GBK字符集的超集,常叫大汉字字符集,也叫CJK(Chinese,Japanese,Korea)字符集,包含了中、日、韩三国语言中的所有字符。编码字符集,用一个编码值code point来表示一个字符(即该字符在子库表中的位置),这个值称为字符对应于编码字符集(如:Unicode、ASCII)的序号。如果一个字节的第一位为0,那么代表当前字符为单字节字符,占用一个字节的空间。

Machine Learning with Tutors 1286

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

字符集和字符编码

我们在网页上看到的文字实体在计算机中是以二进制来进行存储的,在计算机进行磁盘的读写时,需要对实体文字和二进制进行转换,因此我们需要有规则来规定每个实体文字存储在计算机中是怎么样的。 有这样三个与字符编码相关的概念: 字库表: 包含了实体的文字 编码字符集: 指定了每个实体文字在字库表中的位置。例如ASCII,Unicode等就是字符集,前者主要用于英文等西方文字,后者几乎

VivianHope的专栏 550

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

计算机中的字符编码与字符集的关系

什么是字符集 在介绍字符集之前,我们先了解下为什么要有字符集。我们在计算机屏幕上看到的是实体化的文字,而在计算机存储介质中存放的实际是二进制的比特流。那么在这两者之间的转换规则就需要一个统一的标准,否则把我们的U盘查到老板的电脑上文档就乱码了,小伙伴QQ上传过来的文件在我们本地打开又乱码了。(PS:这里科普下乱码的英文native说法是mojibake)。于是为了实现转换标准,各种字符集标准就出现...

Icebreaker 401

字符乱码之字符集和字符编码

最近经常会碰到上传客户提供的历史数据上传时csv文件用Excel打开时会有乱码问题,虽然知道知道是字符编码不一致导致的,但其中诸多细节却知之甚少,今日特来理理。 1.为什么会有字符乱码问题?如何解决字符乱码问题 计算机中存储的信息都是二进制数表示的,但是世界上有各种不同的语言文字,所以我们需要一些规则将各种字符转换成二进制后存储在计算机中 即编码,以及如果将存储在计算机中的二进制数解析出来即解...

weixin_33964094的博客 346

01 字符编码入门讲解

一、基础概念 字节 这个是最基本的概念了,字节是计算存储容量的一种计量单位。我们知道计算机只能识别1和0组成的二进制位。一个数就是1位(bit),为了方便计算,我们规定8位就是一个字节。 例如 :00001111 这个8位二进制数就占了一个字节的存储容量。 字符 字符和字节不太一样,任何一个文字或符号都是一个字符,但所占字节不一定,不同的编码导致一个字符所占的内存不同。 例如:标点符号+是一个字符...

JasBin2008的专栏 3098

字符集&字符编码

字符(Character)是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。而字符集(Character set)则是多个字符的集合。简单的说,字符集就规定了某个文字对应的二进制数字存放方式(编码)和某串二进制数值代表了哪个文字(解码)的转换关系。字符集种类较多,每个字符集包含的字符个数不同,常见字符集名称:ASCII字符集、GB2312字符集、GBK字符集、GB18030字符集、BIG5字符集、Unicode字符集等。。

SNAKEpc12138的博客 1614

谈谈对中文乱码,编码的理解 java python

中文乱码问题研究结论 java python字库表?编码字符集?字符编码?(这里的概念非常绕)编码,解码读,写合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowcha...

z086961063的博客 2377

通俗易懂的解释字符集和字符编码

字符集(相当于接口) 字库表 包含所有的字符库。 码点code ponit 标识字库表中的每个字符的位置。(码点是不能直接使用的,还需字符集编码的实现)。 例如 ASCII字符集 Unicode字符集 字符编码(相当于实现类) 定义了字符集的码点的规则。 ASCII编码(ASCII字符集的一种实现) 一个字节,包含8bit,共256种。0~127表示默认字符,128~255是扩...

weixin_34112030的博客 352

MySql数据库字符集和比较规则

mysql数据库字符集和比较规则

xsd_dongye的博客 529

HTTP编码和解码与基本认证

咱们在计算机屏幕上看到的是实体化的文字,而在计算机存储介质中存放的实际是二进制的比特流。那么在这二者之间的转换规则就须要一个统一的标准,不然把计算机上文档就乱码了;因而为了实现转换标准,各类字符集标准就出现了。简单的说字符集就规定了某个文字对应的二进制数字存放方式(编码)和某串二进制数值表明了哪一个文字(解码)的转换关系。......

Cdreamfly的博客 323

字符集 ---转

字符集:简单的说字符集就规定了某个文字对应的二进制数字存放方式(编码)和某串二进制数值代表了哪个文字(解码)的转换关系;字符集只是一个规则集合的名字,就相当于 英语,汉语。一个字符集要正确编码转码一个字符需要三个关键元素:字库表,编码字符集,字符编码。 字符集16进制编码对应的二进制数据 UTF-8 0xE5B18C 1110 0101 1011 0001 100...

weixin_30325793的博客 79

重捡Unicode和UTF-8

为何进行编码 众所周知计算机的世界只有0和1,所以为了让计算机能表示我们人类能够理解的符号,我们必须做一些转换工作,所以编码就是指将人类认识的符号转化为0和1的过程。 如何进行编码 这个问题笔者认为是真正理解编码的关键,网上查到这个问题的时候,就会出现很多常见的编码格式,如ASCII、ISO-8859-1、GBK、UTF-8和UTF-16等等,但这些是实现编码的具体方式,它们都有自己的“个性”...

weixin_30662109的博客 75
上一篇: LruCache 源码笔记整理
下一篇: 【Java 注解】笔记整理
OneDeveloper
博客等级 码龄9年 61粉丝 161原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值