一句话一张图 说清unicode 和 utf8

最新推荐文章于 2025-10-11 13:45:00 发布
原创 最新推荐文章于 2025-10-11 13:45:00 发布 · 394 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解释了Unicode作为字符编码的概念及其在计算机中的具体存储方式——UTF-8编码。通过实例说明了如何将Unicode编码值转换为UTF-8格式进行存储。

 

unicode 是 字符的编码值，utf8是unicode 在计算机具体的存储方式。

 

再举个例子，用一张图解释一下就清楚了

"中"的unicode 是 4E2D, 但不能在计算机中直接保存，计算机怎么知道这是两个字节的中文啊

 

所以，使用utf8 编码格式，保存为三个字节： 1110               10                     10                   

  把unicode值4E2D   填充在空格的地方，正好 16个bit  , 得到了 E4 B8 AD

   

DONGHUIB
关注
一篇万字博文带你入坑爬虫这条不归路 【万字图文】
孤寒者的博客
07-09 94万+
一篇万字博文带你入坑爬虫这条不归路 【万字图文】
[网络安全自学篇] 十四.Python攻防之基础常识、正则表达式、Web编程和套接字通信（一）
杨秀璋的专栏
09-29 2万+
这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。前文分享了Wireshark抓包原理知识，并结合NetworkMiner工具抓取了图像资源和用户名密码，本文将讲解Python网络攻防相关基础知识，包括正则表达式、Web编程和套接字通信。本文参考了爱春秋ADO老师的课程内容，这里也推荐大家观看他Bilibili和ichunqiu的课程，同时也结合了作者之前的经验进行讲解。
utf-8 unicode编码表
03-26
所有的utf-8 unicode编码,都可以在表里面查询,方便进行文本处理.
关于Unicode编码和UTF-8编码
lvzhanbin的博客
10-02 9884
说到编码，得先从ASCII编码讲起。ASCII编码是由美国人发明，美国的字符不超过255个，所以ASCII编码使用了8bit 即一个字节来存储字符。由于汉字的数量远超255个，所以中国自己发明了一个GB2312编码来表示汉字，一般的汉字使用2个字节，对于一些生僻的汉字则使用更多的字节来表示，当然，GB2313编码是可以兼容ASCII码的。         然后，日本，韩国等等国家也自己发明了一套
unicode与UTF-8
朱登凯的专栏
11-09 488
字符集要解决的第一个问题是描述文字，包括字符、数字和符号等。最开始的方案是ASCII，它的编码规则也很简单，一个code point占用一个字节。它由美国人发明，在英文环境下运行的很好。 当计算机越来越普及时，人们发现ASCII字符集无法显示其它国家的语言文字，比如中文，于是各个国家就开始发明自己的编码，中国人发明了GB2312和GBK等，来解决中文的显示问题。 为了避免各国自己造轮子，ISO看不下去了，搞了一个UNICODE字符集，直接解决了世界上所有的语言字符集问题。但是，另外一个问题随之而来，就是存储
浅谈unicode编码和utf-8编码的关系
weixin_33816611的博客
12-05 720
字符串编码在Python里边是经常会遇到的问题，特别是写文件以及网络传输的过程中，当调用某些函数的时候经常会遇到一些字符串编码提示错误，所以有必要弄清楚这些编码到底在搞什么鬼。我们都知道计算机只能处理数字，文本转换为数字才能处理。计算机中8个bit作为一个字节，所以一个字节能表示最大的数字就是255。计算机是美国人发明的，而英文中涉及的编码并不多，一个字节可以表示所有字符了，所以ASCII（Ame...
Unicode和UTF8
Zaki_ho的博客
09-24 393
Unicode： Unicode码是由Unicode协会建立的一种编码方案，它支持使用世界各种语言所书写的文本的交换、处理和显示。它是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制应该如何储存。一个16位Unicode码占两个字节，用以 \u 开头的4位十六进制数表示，范围从‘\u0000’到‘\uFFFF’，有一百一十多万。 UTF8：UTF8是Unicode的实现方式之一，它是一...
程序员必备 UTF-8 实战教程：从原理到避坑
最新发布
ftpeak
10-11 2163
文章摘要：UTF-8是解决乱码问题的关键，它与Unicode分工明确：Unicode负责为字符分配唯一编号（如U+4E2D代表"中"），UTF-8负责将编号转换为字节序列（如0xE40xB80xAD）。开发中常见三个坑：1）编码解码不一致；2）错误按字节截取字符串；3）MySQL的"utf8"不支持4字节字符（应使用utf8mb4）。解决方案包括全链路统一UTF-8编码、按字符数截取字符串、数据库使用utf8mb4等。UTF-8优势在于兼容ASCII、节省空间、全球通
字符集编码（一）：Unicode 之前
zhang0402030211的专栏
02-17 746
字符集编码的历史出乎意料地复杂而有趣，打算花三个章节讲讲字符集编码的来龙去脉。本篇讲讲 Unicode 出现之前字符集编码领域的混沌与秩序
Perl Unicode全攻略
gftygff的博客
11-09 678
Perl Unicode全攻略
Unicode、UTF-8编码详解
lixiangchibang的博客
04-16 2万+
Unicode 编码
Unicode 和 UTF-8 详解
fancynthia的博客
02-01 3560
Unicode 和 UTF-8 详解
unicode-UTF8的区别
zxyhhjs2017的博客
07-09 539
转载：https://www.zhihu.com/question/23374078
你真的懂 Unicode 和 UTF-8 是什么关系吗？来看看这个就彻底懂了！
热门推荐
zhusongziye的博客
11-19 7万+
想必做过爬虫的同学肯定被编码问题困扰过，有 UTF-8、GBK、Unicode 等等编码方式，但你真的了解其中的原理吗？下面我们就来了解一下 Unicode 和 UTF-8 编码到底有什么关系。 要弄清 Unicode 与 UTF-8 的关系，我们还得从他们的来源说起，下来我们从刚开始的编码说起，直到 Unicode 的出现，我们就会感觉到他们之间的关系  ASCII码 我们都知道，在计算机...
Unicode, utf-8
Lady_EGG的博客
04-20 158
Unicode可以认为是字符的编号，即每个字符在Unicode表里面的序号。 utf8是一种编码方式，类似于哈夫曼编码过程，就是把常用（位置靠前）的Unicode字符用短编码表示，不常用的字符用长代码表示，从而实现更小的整个文档的文件大小。在UTF-8编码中，英文字母是一个字节，中文（非生僻字）是2~3个字节。 可以认为，utf8是对Unicode的一种压缩算法。 ...
以一张图解释清楚Unicode和UTF-8和GBK等的区别、意义和作用
Weeds的博客
04-02 458
UTF8和Unicode
qq_45678332的博客
12-31 302
unicode在很长一段时间内无法推广，直到互联网的出现，为解决unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。UTF-8就是在互联网上使用最广的一种unicode的实现方式，这是为传输而设计的编码，并使编码无国界，这样就可以显示全世界上所有文化的字符了...
unicode字符集和utf-8编码
u013862108的博客
04-21 1617
字符集 和字符编码的关系： 字符集 是 书写系统字母与符号的集合 字符编码则是 将字符映射为一 特定的字节 或字节序列， 是一种规则。 通常特定的字符集 采用特定的编码方式（即一种字符集 对应一种字符编码，例如ASCII, IOS-8859-1, GB2312, GBK ,都是表示了字符集又表示了相应的字符编码，）但 unicode 不是，他的编码方式有好几种 如 ：UTF-8 UTF-16BE UTF-16LE UTF-32 等 字符集的发展 单字节 -> 双字节 —> ...
unicode变形一句话突破web防火墙过滤
weixin_34409822的博客
06-25 359
现在有不少服务器加了web的防火墙，用来过滤含asp/jsp/php的网马代码，全部用空格替换， 比较讨厌，不过后来刚好想到以前的一句话时候的unicode编码，那就也搞一个吧。 1.新建一个mdb 2.建表，考入：┼攠數畣整爠煥敵瑳∨≡┩> （实际是<% execute request(“a”)%>） 3.改后缀为asp/asa 4.上传 ...
C++实现ASCII、UNICODE和UTF8字符串转换技巧
由于C++标准库并不直接支持Unicode和UTF8的字符串处理，开发者们常常需要编写自定义的代码来实现这些转换。下面将会详细介绍ASCII、UNICODE和UTF8三种编码格式，并提供相应的C++代码示例，以实现这些编码之间的互相...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值