编码史记

穿越编码时空:Qt Creator历史记录功能的进阶玩法 本文深入探讨Qt Creator历史记录功能的进阶应用,揭示其作为开发上下文快照工具的强大潜力。从项目状态保存、Git协同使用到崩溃恢复技巧,帮助开发者高效管理编码时空。特别适合Qt6用户通过常用技巧提升开发效率,实现一键还原完整开发环境。 阅读详情
昨天听了一个同事的编码讲座,很精彩。想起了要写这个文章分享一下各种编码是如何产生的。
字符编码的故事
字符是什么
字符是什么?就是有意义的图形,比如a,中等。在不同的国家代表不同的意思。
但是在计算机世界中只有0和1,好了,如何用0和1将这些字符表示出来呢?这就是编码存在的意义。
编码一点也不高深,就是一个计算机的01和字符ab的简单映射。
于是故事开始了...
很久很久以前,计算机世界只有美国人。美国人的文字造诣很低的,他们的所有文字就只有26个字母,甚至加上大写和小写,阿拉伯数字,计算机中的控制符(回车啥的)都不超过256个(只有127个)。于是,对于他们来说,很自然,那么计算机中用8位就可以表示他们的所有字符了吧。于是他们将8位称作一个字节,计算机的8位表示的每个数字对应了一个英文字符,画了一张表(ASCII码表)。最早的编码 AscII码出现了。
欧洲人出场了。欧洲是有好多个国家的,他们的每个国家也都有自己的文字,比如拉丁文,希腊文等。怎么办呢?于是想到,你美国人指定的ASCII码表里面不是只有127个字符吗,后面128-255的字符不是说待定吗,好吧,我们就不客气了。于是欧洲人就将各种奇怪的语言塞入127后面的字符中,形成了一系列的ISO 8859字符集。比如希腊文塞入ASCII,就形成了ISO/IEC 8859-7,西欧语种塞入ASCII就形成了ISO/IEC 8859-1,ISO/IEC 8859-1也叫做latin-1。(对,就是mysql里面经常见到的编码)
下面是 ISO 8859 现有的15个字符集
ISO/IEC 8859-1 (Latin-1) - 西欧语言
ISO/IEC 8859-2 (Latin-2) - 中欧语言
ISO/IEC 8859-3 (Latin-3) - 南欧语言。世界语也可用此字符集显示。
ISO/IEC 8859-4 (Latin-4) - 北欧语言
ISO/IEC 8859-5 (Cyrillic) - 斯拉夫语言
ISO/IEC 8859-6 (Arabic) - 阿拉伯语
ISO/IEC 8859-7 (Greek) - 希腊语
ISO/IEC 8859-8 (Hebrew) - 希伯来语(视觉顺序)
ISO 8859-8-I - 希伯来语(逻辑顺序)
ISO/IEC 8859-9(Latin-5 或 Turkish)- 它把Latin-1的冰岛语字母换走,加入土耳其语字母。
ISO/IEC 8859-10(Latin-6 或 Nordic)- 北日耳曼语支,用来代替Latin-4。
ISO/IEC 8859-11 (Thai) - 泰语,从泰国的 TIS620 标准字集演化而来。
ISO/IEC 8859-13(Latin-7 或 Baltic Rim)- 波罗的语族
ISO/IEC 8859-14(Latin-8 或 Celtic)- 凯尔特语族
ISO/IEC 8859-15 (Latin-9) - 西欧语言,加入Latin-1欠缺的芬兰语字母和大写法语重音字母,以及欧元(€)符号。
ISO/IEC 8859-16 (Latin-10) - 东南欧语言。主要供罗马尼亚语使用,并加入欧元符号。
接着伟大的中国人也开始使用上电脑了。中文可不得了,文字博大精深,字符远远超过了256个。所以我们无法使用ASCII的扩展了。怎么办呢? 1981年的时候,国家派一批人来做了这个事情,他们统计出所有的中文大概有6000多个字符(后来证明这些人的水品也是有限,好多字符都没有搜出来,于是就有了多种的中文编码),用两个字节(16bit)来表示,16bit能表示的是65536个字符,太够了。我们将16bit分为前8bit和后8bit
如果前8bit小于127(英文ASCII),那么这个8bit就是表示英文
如果前8bit大于127,那么这8bit和后面的8bit合起来表示一个中文
GB是啥意思?国标。
好了,后来某些领导发现,他的名字没法编码了,这个问题出来了。6000个汉字还不足以囊括所有中文,国家在1995年又组织了一批人,继续搜罗一些生僻字,一共搜集出了21886个汉字和字符,形成了GBK编码,GBK编码向下兼容GB2312。
K是啥意思?扩展。
再后来发现了,一些满文,蒙古文啥的少数名族的语言没有编辑到GBK中,继续编辑收录,形成了GB18030编码。
中国台湾的人民当然不能使用大陆编辑使用的GBXX系列编码了,于是他们自己搞了一套 BIG5 中文编码,收录了13060个汉字和字符。但是这里要注意,BIG5的编码映射表和GBXX系列的就完全不一样了,比如同一个“中”字,在BIG5和GB2312中就是两个完全不同的字节。这里就会有乱码出现了,比如("陶喆"和"陶吉吉"),各种简体中文和繁体文的转码工具就出现了。
BIG5是什么意思?
五种中文套装软体:文书处理,资料库,试算表,通讯,绘图。大致的意思是这套编码主要使用于这5个领域
各个国家使用各个国家自己的编码有没有很繁琐?于是大家很期盼有一种统一的编码形式出现。Unicode编码出现了。Unicode使用的通用的字符集叫做UCS。这个字符集就是一个大的字符空间,每个语种都在这个字符空间内划分一段领域。现在应用的UCS是UCS-2,意思就是不管是英文中文,统一使用两个字节(16bit)来进行字符分配。UCS-2字符集可以表示216(即65536)个字符。已经基本满足世界上所有语言了。如果不够怎么办?已经有预定方案UCS-4(用4个字节表示一个字符)。
切记:UTFXX是Unicode的具体实现方式。
UTF-16是Unicode最基本的实现。Unicode使用16bit表示一个字符,UTF-16就是直接将字符集的映射搬过来而已。
本来这样就已经很美好了,但是美国人又不干了。凭什么每个英语字符要占用2个字节?凭什么占用了我们的带宽和CPU?于是一帮英语体系的外国人讨论出了 UTF-8
这种字符编码。
UTF-8这种编码是怎么回事呢?
英文字符,和ASCII码一样,占用一个字节
其他语种,每种语种分配一个模板,这个模板有16bit,24bit,甚至还有32bit的。各个语种根据这个模板,将自己的语言转化成模板要求的编码(UTF-8)
这里演示一个中文字“汉”
比如中文分到的模板是1110xxxx 10yyyyyy 10zzzzzz
汉字的Unicode编码是0x6C49,二进制是0110 1100 0100 1001
将这个二进制按照模板的x,y,z顺序插入
得到11100110 10110001 10001001 就是E6 B1 89
好了…大家看出这个对中文有什么不好的吗?原先一个中文使用UTF-16只需要两个字节,但是使用UTF-8却需要3个字节,如果一个网页有1w个中文字,那么我们就需要多传输1w个字节,带宽啊!! 现在就明白了,为什么国内一些网站,比如sina,它的编码规则是使用GBK了吧!
下面再说一下很多编辑器的自动编码匹配的问题。编辑器会检查出你输入的字符是UTF-8还是GBK,基本根据的就是这个UTF-8模板,如果符合模板,就会判断是UTF-8。很多文章说的txt中输入“联通”存为GBK编码再打开会出现乱码就是这个原因导致的。
具体请看 这篇文章
还有一种ANSI是什么呢?windows内核是使用UTF-16编写的,但是页面上展示的语言是根据系统设置的“语言”来展示的。ANSI就是windows系统根据你设置的语言环境而进行自动变化的一种编码。比如在中文windows系统下,ANSI就代表GBK编码,日文操作系统下就代表JIS编码。
参考资料
专注Web开发50年。请加群:
本文基于 署名-非商业性使用 3.0 许可协议发布,欢迎转载,演绎,但是必须保留本文的署名 叶剑峰 (包含链接http://www.cnblogs.com/yjf512/),且不得用于商业目的。如您有任何疑问或者授权方面的协商,请 与我联系 。
[Python] 离线迁移Python环境后启动报GBK编码错误?一招解决! 摘要:本文针对离线迁移Python环境后启动时出现的GBK编码错误问题进行分析,发现是由于历史记录文件.python_history编码不兼容导致。提供两种解决方案:直接删除该文件或设置环境变量禁用历史记录功能。文章还分享了离线迁移环境的注意事项,包括路径规范、版本匹配等实用建议,帮助开发者快速解决类似问题并提高环境迁移效率。(149字) 阅读详情

相关推荐

C++在DOS下获取IE浏览器历史记录的方法

以下是几个在历史记录提取中可能会用到的API函数:CreateFile:用于创建和打开文件以及设备。它会返回一个文件句柄,后续的文件读取和写入操作都需要通过这个句柄进行。ReadFile:从文件句柄指向的文件中读取数据。WriteFile:将数据写入文件句柄指向的文件。:关闭文件句柄,释放系统资源。这些函数对于历史记录的提取至关重要,因为它们直接关系到文件的读取和处理过程。

weixin_28729843的博客 986

字符编码笔记:ASCII,ANSI, GBK、ISO-8859-1, Unicode 和 UTF-8

每一个文件的最前面分别加入一个表示编码顺序的字符,这个字符的名字叫做"零宽度非换行空格"(zero width no-break space),用。

qq_30436011的博客 1670

Office Tool Plus:正版Office干净部署指南

Office部署是Windows新机配置的关键环节,涉及版本选择、架构匹配、语言支持与合规激活等基础技术问题。其核心原理基于微软官方Office Deployment Tool(ODT)的声明式XML配置机制,通过标准化流程确保安装可复现、可审计、无第三方捆绑。技术价值在于规避官网安装器的版本锁定、架构误配和语言缺失等常见风险,提升部署稳定性与安全性。典型应用场景包括企业批量部署、IT运维标准化、隐私敏感型用户自主安装。本文以Office Tool Plus为实践载体,深入解析ODT底层逻辑、XML配置规范

1200

中文化和国际化问题权威解析之一:字符编码发展历程(转)

前几天看文初的《精武门之Web安全研讨会首日感受》,说到利用字符集攻击时提到以前宝宝写的一篇有关国际化的文章,趁机再次拜读了宝宝的这篇大作,不得不感慨宝宝的写作功底,无敌!这么好的文章不分享出来实在是太可惜了,在此将宝宝的大作转帖于此; 作者序 在我开发Java程序的几年中,遇到得最多,也是别人向我提问最多的问题,就是各种各样看似稀奇古怪的中文乱码问题了。网上也有许多解释和解决Java中文问题

gxj1680的专栏 1023

RK3588开发板实战:从零开始移植Ubuntu 24.04(讯为SDK版)

本文详细介绍了如何在RK3588开发板上从零开始移植Ubuntu 24.04系统(讯为SDK版),涵盖开发环境准备、SDK解析、根文件系统定制、驱动适配、系统集成与烧录等全流程。通过实战案例,帮助开发者快速掌握RK3588开发板的系统移植技巧,适用于嵌入式开发与定制化Linux系统构建。

sand8的博客 439

Oracle 11g版本下载及安装超详细教程图解

新手Oracle安装教程

weixin_43738344的博客 10万+

字符编码的前世今生

字符编码的前世今生摩尔斯电码ASCII码ANSI编码GB2312GBKGB18030UnicodeUTF-8UTF-16UTF-32Mysql 之 utf8mb4乱码(锟斤拷)是怎样炼成的 老板,给我上一窝锟斤拷 想必我们在刚刚接触代码开发时,都会接触到一个叫做ASCII的东西,而初代的Java工程师们,可能在用eclipse的时候,会经常需要手动切换代码编码格式(从UTF-8到GBK),为的就是能够看清别人的代码注释,又或者,你知道手持两把锟斤拷,口中疾呼烫烫烫的由来么 甚至出现了下图的一个场景 你知道

张花生的博客 1992

从Frenet坐标系到多项式拟合:Lattice Planner核心原理拆解与调参指南

本文深入解析了自动驾驶轨迹规划中Lattice Planner的核心原理,重点阐述了其在Frenet坐标系下解耦横纵向规划、利用五次和四次多项式拟合轨迹的数学基础。文章提供了从坐标系转换、采样策略到成本函数设计的完整工程实践指南,并分享了关键的参数调优经验,旨在帮助开发者高效实现稳定、平滑且安全的轨迹规划。

tech5的博客 1111

utf8中文编码范围

UTF-8有点类似于Haffman编码,它将Unicode编码为: 00000000-0000007F的字符,用单个字节来表示; 00000080-000007FF的字符用两个字节表示 (中文的编码范围) 00000800-0000FFFF的字符用3字节表示 编码转换:iconv -f “文件目前编码” -t “文件转换后的编码” -o “转换后生成的新文件名” “源文件名”temp = Icon

5452

别再把 SELECT SINGLE 当成 TOP 1:一篇讲透 SELECT SINGLE vs. SELECT UP TO 1 ROWS 的 ABAP SQL

ABAP开发中SELECT SINGLE与UP TO 1 ROWS的选择取决于查询意图:前者适用于主键唯一查询,后者配合ORDER BY可从多行中筛选特定记录。关键区别在于结果确定性:当条件不唯一时,SELECT SINGLE返回随机行且不支持排序,而UP TO 1 ROWS允许通过排序规则明确定义所需行。文章建议根据四种典型场景选择语法:全键查询用基础SELECT或SELECT SINGLE;部分键查询必须使用UP TO 1 ROWS+ORDER BY;存在性检查推荐SELECT SINGLE返回常量。正

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 201

【雷达通信】雷达信号处理仿真【含Matlab源码 2509期】

雷达信号处理仿真 完整的代码,方可运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 906

python重定向响应信息头_人性化的Requests模块(响应与编码、header处理、cookie处理、重定向与历史记录、代理设置)...

Requests库是第三方模块,需要额外进行安装。Requests是一个开源库pip install requests去GitHub下载回来,进入解压文件,运行setup.py比urllib2实现方式的代码量少,下面是POST请求:import requestspostdata= {‘key‘:‘value‘}r = requests.post(‘http://www.cnblogs.com/lo...

weixin_39701288的博客 316

事件驱动的 SAP 工作流:从 BOR 事件到 Event Linkage 的落地与排障全景图

摘要: SAP工作流中的Event是业务对象状态变化的系统广播机制,如发票录入、采购订单释放等事件。通过事件驱动,业务程序与流程引擎解耦,业务只需发布事件,流程引擎负责后续处理。文章详细解析了SAP工作流事件的完整链路,包括事件定义、触发机制、事件容器传递、SWE2配置的关键作用,以及事件不触发时的排查方法。重点介绍了事件在启动流程、终止任务、等待步骤和主动创建中的应用,并结合采购订单审批案例说明事件的实际使用场景和配置要点。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 190

vue实现搜索框历史记录功能,本地储存,最新点击排在最前面

需求: 输入框搜索历史记录,去重,最新点击的排在最前面,可点击删除 效果: 话不多说,上代码… HTML部分 <div class="head_top"> <div class="left"> <img src="../fangdajing.png" /> <input placeholder="请输入搜索关键字" ref="getValue" v-mo

lucky_ax的博客 5039

数据结构(超详细讲解!!)第十七节 队列应用(杨辉三角)

杨辉三角

2201_76115387的博客 1379

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

关于MyEclipse SVN显示资源历史记录乱码问题

MyEclipseSVN资源历史记录乱码 使用SVN查看历史记录进行文件对比的时候,有时会出现乱码问题,如下图: 解决办法:打开Window-->Preferences 如下: 原来默认的是GBK,改为UTF-8即可

逸轩 4020

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【转】关于MyEclipse SVN显示资源历史记录乱码问题

使用SVN查看历史记录进行文件对比的时候,有时会出现luàn码问题,如下图:  解决办法:打开Window-->Preferences 如下:  原来默认的是GBK,改为UTF-8即可

博客 1576

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

[javascript]编码&i字符串格式化&nput历史记录&清空模态框

js中编码问题 https://www.haorooms.com/post/js_escape_encodeURIComponent 我在前端js添加时候创建dom时候,有汉字,发现是乱码就研究了下 针对字符编码 javascript:escape("\u6625\u8282"); //输出 "%u6625%u8282" javascript:unescape("%u6625%u8282")...

weixin_30648963的博客 166

eclipse中项目文件更改编码方式五种

1.鼠标右键properties 2.图中两个 3.如果清楚之前什么格式,用main方法转 4.找历史记录回到之前版本 注意:全局、工程、文件。 文件的编码会覆盖工程的编码,工程的编码会覆盖全局的编码。

全栈开发的博客 554

JS与C#编码解码

escape不编码字符有69个:*,+,-,.,/,@,_,0-9,a-z,A-Z encodeURI不编码字符有82个:!,#,$,&,',(,),*,+,,,-,.,/,:,;,=,?,@,_,~,0-9,a-z,A-Z encodeURIComponent不编码字符有71个:!, ',(,),*,-,.,_,~,0-9,a-z,A-Z1. JS: escape : j...

weixin_34319111的博客 96

IDEA所提倡的是智能编码

编辑播报2001年1月发布IntelliJ IDEA 1.0版本,同年七月发布2.0,接下来基本每年发布一个版本(2003除外),当然每年对各个版本都是一些升级。3.0版本之后,IDEA屡获大奖,其中又以2003年的赢得的“Jolt Productivity Award”,“JavaWorld Editors’s Choice Award”为标志,从而奠定了IDEA在IDE中的地位。版本为2018.2.2,2018年8月发布,更新版本为18.2.2。

m0_74168665的博客 433
上一篇: js监听input输入框值的即时变化
下一篇: Spring security初探
VagueCoder
博客等级 码龄13年 4粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值