关于编码(二):ASCII和Unicode

【计算机基础】Unicode编码和 ASCII编码的区别 在计算机科学的发展过程中,字符编码标准扮演了至关重要的角色。字符编码标准决定了计算机如何存储和处理文本数据。两种最常见的字符编码标准是 ASCII 和 Unicode。本文将详细介绍这两种编码标准,探讨它们的设计目标、编码范围、应用场景以及各自的优缺点。1. ASCIIASCII(American Standard Code for Information Interchange)是最早的字符编码标准之一,主要用于表示英语字符。它最初设计用于电报系统,后来广泛应用于计算机系统。 阅读详情

关于字符编码,最早的概念可能来自于这样的对话:

  • “哎呀这个文本是乱码怎么办!”
  • “你用UTF-8再打开一次。”
  • “咦?好了欸!”

以上只是个开篇的小段子,作为一个依靠代码吃饭的人,在日常的工作和学习之中肯定免不了接触各种各样的编码问题,简单可能是别人发过来的脚本打开是乱码,复杂的可能是web开发中的展示和存储问题,页面展示、信息存储和解读、文件下载和保存甚至于debug看个日志,你都要先设置一下编码格式,否则就要面对一份天书,无从下手。今天就从计算机编码的最开始分析一下这个问题。

ASCII码的诞生

我们都知道计算机使用0和1的两个状态来存储所有信息的,我们把能表示0和1状态的单位成为位(bit),每八位组合在一起,就构成了计算机最基本的存储单位——字节(byte)。而我们常说的KB、MB和GB,和Byte的换算关系是这样的:

1KB=1024B
1MB=1024KB
1GB=1024MB

这个都属于常识问题了,即便你不是专业的程序员,这个换算关系肯定也是知道的。那么ASCII码和字节有什么关系呢?
上个世纪60年代,美国指定了一个字符编码标准,这个字符编码标准使用一个字节来表示一个信息,一个字节有多少种变化呢?这个很好计算:一个字节有8位,每位有2个状态,那么一个字节有2的8次方一共256个状态。在制定好的这个字符编码标准里,前32种状态被定义成控制码,当终端(可能是计算机也可能是打印机之类的硬件设备)接收到前32种状态码中任意一种状态时,都会根据定义好的规则执行相应的动作。比如:

00000000:空字符
00000001:标题开始
00000111:响铃

具体码表,感兴趣的可以参照ASCII中文网给出的码表。

完成了对前32种编码的定义之后,这个标准将英文字母、阿拉伯数字、英文标点符号也使用状态码来表示,这个一直使用到了第127个状态。这个标准,也就是ASCII编码,是计算机最初使用的编码标准。

ASCII码扩展阶段

沿着上面这个标准,美国人很舒服的用了一段时间,但后来当计算机技术可是传播到其他国家的时候,问题出现了。前127个状态里面只包含了英文字母,那不讲英文的国家怎么办呢?编码标准的第一次扩充出现了。
为了在计算机中保存非英语语言的文字,原来一直很清闲的128-255号编码派上了用场,它们开始表示新的字母和符号,这些编码称之为扩展字符集。至此,256个状态被分配完毕,ASCII再也没有新的状态可用了。
通过ASCII的扩展字符集,除英语之外的一些其他语言也可以正常的计算机上存储和使用,解决了当时他们遇到的问题。

GB2312的出现

扩展字符集解决了当时一些国家不能输入的问题,但是,当中国人开始使用计算机的时候,新的问题出现了。汉语跟英语、法语不一样,后两种语言都是使用字母拼成单词来表达意思,在进行存储的时候只需要存储基本字母就可以了,这个量很小。但汉语是通过汉字组合在一起的,常用汉字有6000多个,6000多个汉字如果使用原有的编码标准,那是无论如何也存储不了了。
劳动人民给出的解决方案是这样的:

  • 取消127号之后的编码定义,也就是取消扩展字符集;
  • 小于127号的字符认为是ASCII码的原有定义
  • 大于127号的字符,两个连在一起表示一个汉字或者符号,第一个byte是高字节(0xA1-0xF7),第二个byte是低字节(0xA1-0xFE)

同时,在这个解决方案里,劳动人民不仅放入了汉字,还把什么罗马希腊字母,日本假名都编进去了。全角字符也是在这个时候出现的,位于127号以前的数字标点字母是半角,两字节的字符就是全角字符。这套标准就是GB2312中文标准,也是基于ASCII的一套扩展。

GBK和GB18030

看到这里你是不是在想,不是已经扩充过了吗,咋还有?这是因为汉字,实在是太多了,GB2312只收录了常用的6000多个汉字,在实际使用中,人们就发现有一些生僻字打不出来啊,还是没法用。在这种情况下,只能对现有字符集进一步扩展。GBK就是在GB2312的基础上增加了20000个左右汉子(包括繁体字),GB18030就是在GBK的基础上增加了少数民族用字而来的。

统一标准的出现——UNICODE

相比看到这里你能够猜到随着计算机在全世界范围内的普及,各种编码标准如同雨后春笋一样纷纷出现。一般来讲,百家争鸣是好事儿,但实际上呢,这给计算机的使用者带来极大的麻烦。为了能够正常显示不同的文字,必须在使用的计算机中安装不同的字符编码,否则就不能正确的显示信息。
为了解决这个问题,ISO国际标准化组织给出了一个简单的解决方案,废除所有的地区性编码方案,制定一个包括了地球上全部文字、符号、字母的编码,这个方案就是一统天下的UNICODE了。
UNICODE中,所有的字符都以两个字节表示,对于ASCII中的已经存在的字符,用补0的方法将其长度扩展为16位,其他的语言则全部使用16编码的模式。

UTF-8和UTF-16

说到UNICODE,问题似乎就全部解决了,那UTF-8和UTF-16又是什么呢?上面有一个小细节,那就是UNICODE是标准统一的字符集,但并不包括存储方案。UTF-8和UTF-16就是将UNICODE数字编码转换到程序数据的编码方案,或者说,我们可以认为UTF-8和UTF-16是UNICODE的一种实现方式,这样就好理解多了。比如活字印刷术,UNICODE是铅字,UTF-8就是排版和印刷的工人。

最后,写完了给自己鼓鼓掌。在把这篇文章写完之前,我自己对于编码的了解也只是知其然不知所以然,在遇到?那个问题之后,才决定抽时间把这些都整理一下。拖拖拉拉到了今天才写完,也算有所收获吧。


附上版权声明:
原作者:Vi_error,博客地址:Vi_error.nextval
转载请保持署名和注明原地址

ASCII和Unicode编码详解 本文参考大量维基百科和网络大牛的文章,并结合实际例子,试图帮助大家理清计算机的编码问题,从而更加高效的编写程序。 一.    知识补充 1.1  位 我们常说的位是指比特位,即bit,每一个bit位存储一个0或者1。所以,在计算机(二进制数系统)中,一个位(bit)就是指一个0或者1。我们说计算机的CPU一次能处理的最大位数就是指这个位。 1.2  字节 字节(Byte)是指一小组相邻的 阅读详情

相关推荐

ASCII编码与Unicode编码

ASCII码 一个字节(Byte)有8个二进制位,有256种状态,每种状态对应一个符号,就是256个符号,从00000000到11111111。 计算机诞生于美国,早期的计算机使用者大多使用英文,上世纪60年代,美国制定了一套英文字符与二进制位的对应关系,称为ASCII码,沿用至今。 ASCII码规定了128个英文字符与二进制的对应关系,占用一个字节(实际上只占用了一个字节的后面7位...

Peace 2436

一文彻底明白ASCII和Unicode

第二个问题是,我们已经知道,英文字母只用一个字节表示就够了,如果 Unicode 统一规定,每个符号用三个或四个字节表示,那么每个英文字母前都必然有二到三个字节是。也就是说,一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从。不同的国家有不同的字母,因此,哪怕它们都使用256个符号的编码方式,代表的字母却不一样。但是不管怎样,所有这些编码方式中,0--127表示的符号是一样的,不一样的只是128--255的这一段。),也就是说,这个符号的表示至少需要2个字节。

matinal 當冬夜漸暖 。公众号:matinal 3772

字符编号ASCII 和Unicode,与字符编码,utf8,gbk

总结 字符编号 ASCII 和Unicode类似。仅仅是给某个字一个唯一的编号,并没有规定怎么对字符编码。 ASCII 只用一个字节,因为发明比较早,只能标识256个字符,00000000-11111111,里面只给英文字母,和一些特殊字符如空格 进行了编号。 Unicode 是为了解决全世界的字符(unicode 同时兼容ASCII 的编号),给每个字符都有一个唯一的编号,比如,汉字“严”的unicode是十六进制数4E25,转换成二进制数足足有15位。 字符编码 UTF-8是Unicode.

FREEDOM 1642

ASCII码与Unicode编码

1. ASCII码 我们知道,在计算机内部,所有的信息最终都表示为一个二进制的字符串。每一个二进制位(bit)有0和1两种状态,因此八个二进制位就可以组合出256种状态,这被称为一个字节(byte)。也就是说,一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从00000000到11111111。 上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为ASCII码,一直沿用至今。 ASCII码一共规定了128个字符的编码,比

Y2567326540的博客 4147

Unicode和ASCII的区别及编程中的应用

UTF-8编码兼容ASCII,因此在处理ASCII字符时,UTF-8编码与ASCII编码是一致的。UTF-8编码兼容ASCII,因此在处理ASCII字符时,UTF-8编码与ASCII编码是一致的。代码点用十六进制表示,例如,字母"A"的Unicode代码点为U+0041,字母"b"的Unicode代码点为U+0062。代码点用十六进制表示,例如,字母"A"的Unicode代码点为U+0041,字母"b"的Unicode代码点为U+0062。它使用16位(或更多)编码来表示字符,因此可以表示数十万个字符。

DevProZ的博客 606

从ASCII到UNICODE:Java实现字符编码转换器

本文还有配套的精品资源,点击获取 简介:本文介绍了Java项目"armscii2unicode-converter",该项目专注于解决字符编码转换问题,特别是将亚美尼亚语的ASCII扩展编码ArmSCII转换为包含全球语言的UNICODE字符集。文章详细描述了ASCII和UNICODE的基本概念,以及ArmSCII的背景和目的。项目通过读取、字符映射、转换过程和输出结果,实...

weixin_33240461的博客 1869

ASCII与unicode的区别

一、ASCII码与unicode码 1. ASCII:8bits的英文编码,实际使用低7位,127个字符。32(0x20)为空格,之前是控制字符,之后是有效字符。 2. Unicode:使用两字节对全球字符进行统一编码,有65536个编码,UCS-2为两字节版本(2^16 =65536)。 2.1 Unicode little endian:将Unicode中表示同一字符的两个字节顺序反过来...

lyl0530的博客 1万+

如何在软件复位后保留指定RAM区域的数据

本文主要介绍S32K144的RAM retention功能

北极熊的脖子(16605192620@163.com) 1万+

Unicode Ascii 字符转汉字

1. Unicode字符转汉字 http://www.guabu.com/zhuanma/ 下载官方的 java 的 json的 jar 包。http://www.json.org/java/json.zip, 可以到 http://www.json.org/java/index.html 看 javadoc。 public void testUDecode() { S...

greatwqs : Where amazing happens ... 272

【SLAM论文笔记】SplaTAM论文小结

参考方法有ORB-SLAM3、Point-SLAM、NICE-SLAM、Kintinuous、ElasticFusion,测试数据集有ScanNet++、Replica、TUM-RGBD、Orig-ScanNet,SpaTAM并未在全部对比均为第一,表现最佳的是在ScanNet++、Replica,ScanNet++上SplaTAM方法位姿精度比第2名ORB-SLAM3高两个数量级,在TUM。上无稀疏SLAM结果,NICE-SLAM与Point-SLAM占优。SplaTAM基本做到了SOTA。

持之以恒 1011

【赛题解析&命令脚本配置】2024年第十七届山东省技能大赛 | 网络系统管理”赛项-模块B:Linux服务部署 & ⑤客户端OutsideCli和InsideCli工作任务

【赛题解析&命令脚本配置】2024年第十七届山东省技能大赛 | 网络系统管理”赛项-模块B:Linux服务部署 & ⑤客户端OutsideCli和InsideCli工作任务 | 【赛题解析&命令脚本配置】2024年第十七届山东省技能大赛 | 网络系统管理”赛项-模块B:Linux服务部署 & ⑤客户端OutsideCli和InsideCli工作任务

君逍遥o 320

ASCII与Unicode编码

ASCII 编码主要是为英语语言设计的,只能表示 128 个字符,对于其他语言(如中文、日文、阿拉伯文等)的字符无法表示,在ASCII编码中,例如字符A的码点是 65(十六进制为41),在 ASCII 编码中就用 1 个字节01000001来表示比如汉字中的 Unicode 码点是 U+4E2D,在 UTF - 8 编码中,它用 3 个字节表示,即E4 B8 AD,其中E4是十六进制,转换为二进制就是11100100,所以也是一个字节;在 UTF - 16 编码中,用 2 个字节表示;

Aries_Observer的博客 2164

【ComfyUI】QwenImageEdit OOTD角色与姿态匹配换装

本文介绍了一个基于Qwen Edit OOTD 2.0的ComfyUI工作流,能够实现角色与姿态匹配的智能穿搭生成。该工作流通过整合模型推理、姿态识别、图像拼接和渲染等节点,完成从角色图、姿态图到成品穿搭图的完整生成流程。核心采用Qwen Image系列模型进行图像理解和编辑,配合ControlNet进行姿态引导。用户只需提供角色图和姿态参考图,系统即可自动完成姿态解析、语义编码、采样生成等步骤,输出与输入姿态一致的穿搭图像。该方案适用于虚拟角色展示、电商试穿等场景,能保持角色特征一致的同时灵活变换姿态,显

Mr数据杨 1596

ASCII编码和Unicode编码的区别和联系

编码背景 因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节。比如两个字节可以表示的最大整数是65535,4个字节可以表示的最大整数是4294967295。 由于计算机是美国人发明的,...

我是张跑跑 2万+

视觉Transformer实战 | 将卷积引入视觉Transformer(CvT)

CvT 是一种融合卷积神经网络与 Vision Transformer 优势的视觉模型,旨在解决 ViT 缺乏平移不变性和局部性等归纳偏置的问题。CvT 采用分层结构逐级降采样,使用卷积词元嵌入代替传统 patch 切分,引入卷积投影替代线性投影。这些设计使得 CvT 能够去除位置编码,在高分辨率输入下表现更优。本节深入解析 CvT 的核心原理,并提供完整的 PyTorch 代码实现,演示如何在实际数据集上训练和评估 CvT 模型。

盼小辉丶的博客 728

Pytorch中安装 torch_geometric 详细图文操作(全)

如果已经安装了pytorch版本,对应跳过步骤一,直接安装步骤二即可注意:依赖包的配置需要根据pytorch版本号以及cuda的版本号,版本号要适配,否则部分函数无法使用。

码农研究僧的博客 3450

ASCII编码、HEX编码、URL编码、Unicode编码、Base64编码

目录 ASCII编码 HEX编码 URL编码 Unicode编码 ASCII编码 字符的ascii编码可以对照ASCII编码表 中文的ASCII编码是对照unicode编码表 string = input("请输入一个字符: ") print(string+" 的ASCII码为:",ord(string)) #将字符转换为ascii码值 number = input(...

谢公子的博客 7190

如何理解下一代ERP 即:华为MetaERP

如何理解下一代ERP 即:华为MetaERP 华为的 MetaERP核心定位: 华为MetaERP是华为公司自主研发的下一代企业核心商业管理系统。它不仅仅是一个传统的ERP(企业资源规划)系统,更是一个面向未来、基于云原生、AI驱动、安全可信的企业核心管理平台。

金牌架构师 1145

ASCII 与 Unicode:两种字符编码的定义和不同

在计算机科学和编程语言中,字符编码是非常重要的概念。它定义了计算机如何表示和存储文本信息。在不同的编程语言中,字符的表示方法可能有所不同。C语言使用ASCII编码表示字符,而Java则使用Unicode编码。这两者虽然都是字符编码,但它们有很大的不同,尤其是在字符集的范围、表示方法以及支持的语言字符种类等方面。 本文将详细解释ASCII和Unicode的定义、历史背景、两者之间的主要区别以及它们在C语言和Java中的应用。 2025.2.17-✍69min

禅宗里有一个词叫做“因缘和合”。 所谓因缘,是指事件要发生所必须的条件。因缘和合就是当你聚集了这件事的一切条件,它就会自然而然的发生。“它就会自然而然的发生”,这种朴素而坚定的价值观让我们感到无比安心,安心到可以不用有任何担心焦虑。 1738

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

ASCII和Unicode编码的区别

https://blog.youkuaiyun.com/skh2015java/article/details/80500482 归纳: 编码 大小 支持语言 ASCII 1个字节 英文 Unicode 2个字节(生僻字4个) 所有语言 UTF-8 1-6个字节,英文字母1个字节,汉字3个字节,生僻字4-6个字节 所有语言 具体解释: 最早...

一面之媛 3131

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

python 文本文件的编码格式:ASCII编码和UNICODE编码

文本文件存储的内容是基于字符编码的文件,常见的编码有ASCII、UNICODE等.Python2.x默认使用ASCII编码,Python3.x默认使用UTF-8编码

weixin_48728769的博客 4786

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

c语言unicode编码转ascii码,Unicode和ASCII的转换

本帖最后由 shaoxie1986 于 2010-12-26 22:52 编辑文章翻译:梁振信息来源:http://www.codersource.net/win32_unicode_ascii.htmlUnicode编程在Windows下使用更加容易了,但还是有需要一些奇怪代码例子。通常情况下在MFC下做Unicode编程将使用下面的方法:1,构造使用TCHAR类型的申明2,使用所有函数涉及TC...

weixin_33586886的博客 1854

C#默认编码、ASCII,Unicode

一、C#默认编码 C# 的所有源代码文件,默认编码为 UTF-8,注意,是源代码文件,而不是 C# 中的 string。 C# 中的所有 string,默认编码均为 Unicode (UTF-16)。 C# 产生的 ASP.NET 源代码,如 ASPX/CS,在浏览器响应回去客户端之后,编码默认为 UTF-8。可以通过ContentType 请求头信息更改默认编码。比如:ContentTy...

天马3798 8771

Python中文本文件的编码格式——ASCII编码和UNICODE编码

文本文件的编码格式 文本文件存储的内容是基于 字符编码 的文件,常见的编码有 ASCII 编码,UNICODE 编码等 Python 2.x 默认使用 ASCII 编码格式 Python 3.x 默认使用 UTF-8 编码格式 1. ASCII 编码和 UNICODE 编码 ASCII 编码 计算机中只有 256 个 ASCII 字符 一个 ASCII 在内存中占用 1 个字节 的空间 ...

黄大堂 2542
上一篇: 关于编码(一):url的编码和解码问题
下一篇: 【转】Java 9 新特性汇总
Vi_error
博客等级 码龄13年 10粉丝 34原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值