关于unicode与utf-8的认识

掌握UTF-8与Unicode的转换技术 在当今数字化的世界中,字符编码是保证信息正确传递的关键技术之一。字符编码指定了每个字符与特定的数字代码之间的映射关系。这一概念的核心是确保计算机系统能够一致地理解文本数据,无论是在不同的软件平台、操作系统,还是跨越各种语言和文化。Unicode 和 UTF-8 是两个在信息世界中占据核心地位的字符编码标准。Unicode 旨在为每一个文字提供一个唯一的数字标识,这样无论在什么语言中,同一个字符都能被准确地识别和表示。 阅读详情

unicode起源

说到unicode就不得不说ASCII,ASCII是有美国定制的一套字符集,其中是字母与二进制的对应关系,ASCII为一个字节,一个字节中的后七位与字符一一对应,比如01000001对应大写字母A,7位二进制完全能够满足英文字符了,但是后面互联网普通,中文可不是7位二进制,128个数字能完全表示的,更别说其他国家的语言,因此出现了很多只能适用于特定语言的编码规则,比如说GB2312,BIG5等等,那这样不同国家间的沟通就变得费劲起来,于是unicode出现了,其本质也是一个字符集,里面拥有全世界语言字符对应的二进制数,比如汉字詹对应unicode:ox8a79,世界上所有的字符(当然一些太生僻的应该不会有,甲骨文应该没有吧。。。)都能在里面找到一一对应的二进制。

加深印象

不知道你有没有用过php函数ord,文档解释是说返回一个字符的ASCII码,其实这里可以理解为返回字符的编码,反过来通过这个编码也在unicode中可以找到对应的字符,比如ord(‘h’)会返回104,通过查字符集表发现104的确对应字母h,于是我继续ord
这里写图片描述

返回了232,查询232,结果是这样的

这里写图片描述

明显不对,研究了一下,原来ord函数返回字符串第一个字符,也就是第一个字节的ASCII码,因为字符‘h’本来就占一个字节,当然能正确返回,而在utf-8中,中文字大多是占3个字节的,于是可以这样

这里写图片描述

相应的返回

这里写图片描述

连接起来并转换成二进制就是

11101000 10101001 10111001

然后需要把这个转换成unicode编码,这样才能在unicode字符集中找到他对应的中文字,关于unicode与utf-8的互转这里就不多阐述,下面一张图:

这里写图片描述

互转方法可以看这里utf-8与unicode

最后得到unicode的编码为 10001010 01111001,即35449,与网上查到的值吻合:

这里写图片描述

如有不准确的地方烦请指正,共同学习共同进步

UNICODE与UTF-8转换 将UNICODE字符集与UTF-8字符集相互转换 立即下载

相关推荐

Mac电脑用Latex论文排版3天速成5天实战de笔记

我后悔了,这五天竞赛搞得我视力都下降了...一个冲动的决定后成为数模竞赛论文写手,3天速成+5天时间=点亮攻克latex写论文技能💡关于Overleaf我是Mac,曾经按照大部分推荐的方式用TEXshop+vs code,但是把模板导入就开始报错。跟着少之又少的适配mac的教程(此时我已知道大概是走错路了)改了配置也无效。海鲜市场找佬改了半天,佬问我:一定要用VC吗?我说,那倒也不是。于是佬推荐我overleaf,三下五除二帮我挑配了环境,美汁汁收了我30块钱。

luwanjoyce的博客 2251

golang处理0x08不可见unicode字符

golang An invalid XML character (Unicode: 0x8) was found

小知识折射大智慧 4945

Android Geckoview实战:5分钟搞定JS与原生交互(附完整Demo代码)

本文详细介绍了在Android应用中使用GeckoView替代系统WebView,构建稳定高效的JavaScript与原生代码交互桥梁的实战方法。通过WebExtension架构,文章提供了从环境配置、扩展开发到Android端集成的完整步骤,并附有可运行的Demo代码,帮助开发者快速解决混合应用中的兼容性问题。

u5v6w7的博客 936

Java - XML字符支持报错An invalid XML character

XML字符支持 严格意义上来说, XML需要转义的字符只有: <,>,&,”,©;的转义字符分别如下: < >& " ' 但是其实有一些控制字符是不被支持的, 会出现如下报错: An invalid XML character (Unicode: 0x**) was found ...

累了就歇一会 1万+

成本150元的高性能RDP协议瘦客户机

云终端市场是一个跨度很大的市场。既有数千元的品牌的瘦客户机,也有几百元的瘦客户机,还有200-300元的支持RDP协议的多用户云终端。但是200-300元的多用户终端,在显示性能上不尽人意,一般用于地产中介门店,工厂产线的电子看板等场合。有没有性能更好,价格更低的方案呢? 答案是有。 这个方案就是 二手的x86 瘦客户机 + DoraOS瘦客户机系统免费版(仅支持RDP)。 首先我们看硬件,在某宝搜索 升腾C92 ,找到最低配置的( CPU:J1800,内存:2G,硬盘:8G)。价格都在150以内。

云飞扬的桌面云 7412

让AI稳定生成流程图:基于Skill与Mermaid的工程化实践

流程图是软件工程中沟通业务逻辑的通用语言,但其绘制与维护却长期依赖手工工具,导致文档更新滞后、协作成本高。随着大语言模型技术的成熟,自然语言生成代码已成为可落地的技术路径,而Mermaid作为一款文本化图表语法,凭借其可版本管理、可自动渲染和可嵌入文档的优势,正逐步取代传统绘图工具。要让AI稳定输出合格的流程图,关键在于为模型定义一套清晰的Skill规则,约束输入结构、处理逻辑和输出格式。本文从流程图的工程痛点出发,介绍如何利用大模型将自然语言描述转化为结构化文本,再通过Mermaid CLI渲染成可视化图

weixin_42548782的博客 312

Unicode编码范围

Unicode 编码范围(Unicode blocks) 0x0000-0x001F:控制字符 (Control character) 0x0020-0x007F:基本拉丁字母 (Basic Latin) 0x0080-0x00FF:拉丁文补充1(Latin-1 Supplement) 0x0100-0x017F:拉丁文扩展-A (Latin Extended-A) 0x0180-0x02...

sdibt513的博客 4759

DBC中如何实现报文传输类型属性的配置

AUTOSAR中CAN报文的传输类型主要有三种,周期型,事件型和混合型。周期型:按固定时间间隔自动发送,无需额外的触发条件。事件型:当信号值变化或满足内部条件时立即发送。混合型:默认按周期发送,但事件触发时可提前发送。

sunchengl的博客 306

带你正确认识Unicode和UTF-8

前言 相信很多小伙伴跟我一样,之前很长一段时间对Unicode和UFT-8一直搞得不清不楚,等到用的时候就网上搜一搜,大概懂了点是什么,隔一段时间后又搞忘了,简直阔怕啊。今天我将带您轻轻松松出困境,用正确的姿势学习和认识Unicode和UTF-8 ASCII码 由于计算机这玩意儿是英文为母语的老外发明的,在计算机发展早期,能用到计算机的也就是用英语的那么些国家,因此对于他们来说,用于表示计算机显示屏上要显示的字符也就大小写的英文字母、数字、标点符号、特殊符号、一些特殊字符再加上些控制字符就足矣,总共加起来.

qq_20255275的博客 8825

Claude Code 安装指南(Windows / macOS)

本文介绍了Claude Code的安装准备和基本流程。作为开发者工具,安装前需具备命令行操作能力、可用的Claude账号和稳定网络环境。Windows和macOS的安装都需通过终端完成,安装后以命令行形式运行。首次使用建议在熟悉项目中执行简单任务,逐步建立使用习惯。强调安装只是开始,后续需学习如何有效使用工具,包括任务提交流程和上下文提供方法。核心要点是:Claude Code是开发者工具,网络和终端环境是关键,建议先运行再深入理解。

sg_knight的专栏 4492

计算机字符编码详解——从理论到实践

前言 最近在看《深入理解计算机系统》,读到“字符编码”时不禁想起了初学时那段痛苦的岁月,同时又没找到一篇将理论和实践结合在一起的文章,为此决定自己写一份。希望能把我走过的弯路总结出来,能帮助一些还在路上的朋友。 关于计算机如何存储信息,请参考《深入理解计算机系统》的第 02 章内容,此文只讲解与字符编码有关的内容。 另外,关于常用编辑器对于字符编码的区别,请参考我的另一篇文档——《Win记事本

xuejianhui 2万+

华为OD技术面八股文_C++_01

汇总华为OD技术面C++方向八股文真题,并提供详细解答。

qq_45776114的博客 1887

Unicode与UTF-8互转(C语言实现)

>                 Tags: encoding,c 1. 基础 1.1 ASCII码 我们知道, 在计算机内部, 所有的信息最终都表示为一个二进制的字符串. 每一个二进制 位(bit)有0和1两种状态, 因此八个二进制位就可以组合出 256种状态, 这被称为一个字 节(byte). 也就是说, 一个字节一共可以用来表示256种不同的状态, 每一个状态对应一

tge7618291的专栏 11万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Unicode与UTF-8的区别

ASCII 编码 在计算机的世界里,信息的表示方式只有 0 和 1,但是我们人类信息表示的方式却与之大不相同,很多时候是用语言文字、图像、声音等传递信息的。 怎样将其转化为二进制存储到计算机中,这个过程我们称之为编码。更广义地讲就是把信息从一种形式转化为另一种形式的过程。  一个二进制有两种状态:”0” 状态 和 “1”状态,那么它就可以代表两种不同的东西,想赋予它什么含义,就赋予什么含义,...

Hern(宋兆恒) 3万+

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

UNICODE与UTF-8的转换详解

document.body.oncopy = function() { if (window.clipboardData) { setTimeout(function() {

星际之旅 1467

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Unicode与utf-8的区别

彻底弄清unicode与utf-8的区别在弄清unicode与utf-8的区别之前先介绍一下字符串编码1.ASCII编码2.GB2312编码与其他编码3.unicode编码新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 在

while_tft的博客 701

从 ASCII 到 UTF-8 - Unicode 码的诞生与实现

最近我在整理过往笔记时,发现涉及到了 UTF-8、Unicode的相关内容,相信大家中的很多人和之前的我一样,在过去的很长一段时间里,并没有搞清楚什么是 Unicode、什么是UTF-8,于是就有了这篇文章,我将带大家梳理一下关于 Unicode 码的诞生与实现,用正确的姿势学习认识 Unicode 和UTF-8。

栗筝i的博客 3669

C++中 Unicode 与 UTF-8 编码互转

1、简述最近在发送网络请求时遇到了中文字符乱码的问题,在代码中调试字符正常,用抓包工具抓的包中文字符显示正常,就是发送到服务器就显示乱码了,那就要将客户端和服务器设置统一的编码(UTF-8),而我们程序中 一般用的是Unicode编码,所以这就需要将中文字符转为UTF-8格式的,其他英文字符和数字就不需要转了。下面就讲述一下方法。2、代码之路Unicode 转 UTF-8char* UnicodeT

前行之路还需前行 3万+

编码学习——UTF-8与Unicode互转具体流程

什么是ASCII 什么是UTF-8 什么是Unicode 怎么存的,怎么读的

zjr_java的博客 7378

关于Unicode与UTF-8的说明

Unicode note ASCII码 ASCII码一共规定了128个字符的编码,这128个符号,只占用了一个字节的后面7个位,最前面的1位统一规定为0。 2.非ASCII码 其他的语言用128个字符是不够的,所以就需要多个字节来表示符号,但是不同的国家有不同的字母,所以就算是多字节,每个字节可能在不同的国家就代表着不同的符号,比如汉字就多达10万多个,简体中文常见的编码方式是GB231...

koala的学习之路 337

UTF-8 与UniCode 编码转换

 所谓“utf-8”只是UCS Transformation Format,只是UNICODE的一种表现形式,不等同于UNICODE,一般汉字在UNICODE中为两个(双)字节表示,而我们看到实际保存的文档确是三个字节表示一个汉字的,看看下表:U-00000000 - U-0000007F:  0xxxxxxxU-00000080 - U-000007FF:  110xxxxx 10xxx

提升自己-虚心钻研 1414

Unicode与UTF-8、UTF-16、UTF-32之间的关系

本文主要介绍了Unicode字符集如何使用UTF-8、UTF-16、UTF-32编码来存储。

CyrusCJA的博客 897

unicode与utf-8的联系

参考 阮一峰:字符编码笔记 Unicode 和 UTF-8 有什么区别? ①. ASCII码 由美国最早指定的编码方式. 每个字符用888个比特表示, 所以最多可以表示256256256种字符 由于只需要表示一些字母和数字或简单符号(一共128种字符), 所以这样表示没有问题. ②. Unicode 对于使用英语的国家,ASCII码已经足够使用. 使用其他语言的国家就需要创建自己的编码方式了, 比如编码中文的GBK格式. 后来每个国家都创建一种编码方式, 交流极其不便, 需要有一种编码统一起来. 这就是U

jziwjxjd的博客 369

Unicode 与 UTF-8 的本质与转换

对于大多数人来说,ASCII码,Unicode,UTF-8等等,大家都耳熟了,但可能只是大概听过但又没有仔细深入了解。很多时候一旦遇到乱码和编码之类问题的时候就会蒙,无从下手。我最近也着手在写些网络相关的代码,想更清楚了解内部的到底是什么,故上网学习了下并作记录 1.ASCII码 计算机发展初期,美国需要用通过计算机来表达26个基本拉丁字母、阿拉伯数字和英式标点符号,通过制定编码来表达它们。那既然...

kelvin_feng的专栏 3060

UTF-8与Unicode字符的相互转换 与 16进制Unicode转换汉字

---->Unicode转换为3位UTF-8编码代码(Copy修改即可使用 ) CString strUnicode;strUnicode=“阿鸟是帅锅“;int iLen; WCHAR m_acp[200];char m_UTF[200]; iLen = MultiByteToWideChar(CP_ACP,NULL,strUnicode,-1,m_acp,200); iLen = Wi

程序人生 2302
上一篇: 常用的jquery语句
下一篇: PHP使用WebSocket
jj_jameholl
博客等级 码龄10年 5粉丝 29原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值