utf8编码

最新推荐文章于 2024-11-13 18:23:23 发布
原创 最新推荐文章于 2024-11-13 18:23:23 发布 · 4.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformation #语言 #百度 #存储

utf8编码

关于编码问题：

首先需要知道什么是编码为什么要编码， 计算机只能存储一个字节一个字节的二进制信息，所以需要把人可读的这些文字用唯一的方式在计算机内部表示出来， 但是表示的方法不唯一；

例如英文字符 就那么点 所以一个字节 也就是 8个二进制位就能给所有的进行编码，最多能给256个符号编码； 但是ASCII 编码实际只使用了 7位 所以最多编码 128个字符。

但是汉字就不行了， 常用的汉字大概6000多个， 所以 至少需要两个字节， 所以中国government给出了两个字节的编码方案， 叫做GBxxxx （国标的意思）

两个字节16位 最多 有65536 个字符， 所以 给这些汉字用是足够了，但是有个问题 如何让GB码和ASCII码互相兼容， 即这65536 个字符里面关于那些英文字符的编码 在GB码和ASCII码中要一致

方法很简单 要求所有最高位为0的编码表示的是ASCII码， 最高位为1的编码是GB码；

这样实际最多就只能表示32768个汉字了；

但是GB国标码只能在中国用， 世界人民怎么办呢？世界有那么多的语言，每种语言都应该有编码 所以有了一个叫做unicode 统一编码的东西出现了；Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符（见百度百科http://baike.baidu.com/view/40801.htm）

当然最后还有一个我们经常见到的UTF8编码， 这个是什么东西？

UTF全称 是Unicode Transformation Format 即unicode 编码的变形形式；

unicode编码是定长度的， 但是对于ASCII字符来讲 有点浪费了， 可以用一个字节表示 ASCII字符， 用多个字节表示 汉字什么的， 这就是变长度编码方式了， 那就需要对unicode编码进行一些变形；



UTF-8的定义：

0开头 latin字符
10开头 一个字符连续字节中的某一个
1111xxx 一个多字节字符的开始  前导1的个数表示字节个数 前导1后面紧跟一个0

汉字一般3个字节

unicode是统一编码
utf8是对unicode的转换编码

unicode    utf8
0xxxxxxx -> 0xxxxxxx   latin 转化成自身
00000yyy  yyxxxxxx  -> 110yyyyy  10xxxxxx  两字节 转化成 两字节
zzzzyyyy  yyxxxxxx->1110zzzz 10yyyyyy 10xxxxxx  两字节转化成三字节（一般汉字就是如此）
000wwwzz zzzzyyyy yyxxxxxx -> 11110www 10zzzzzz 10yyyyyy 10xxxxxx 三字节转化成4字节

liyong748
关注
UTF8编码表
语不惊人死不休
10-14 55万+
UTF，是UnicodeTransformation Format的缩写，意为Unicode转换格式。UTF-8是UNICODE的一种变长字符编码，由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。     如果UNICODE字符由2个字节表示，则编码成UTF-8很可能需要3个字节，而如果UNICODE字符由4个字
utf8.rar_C UTF8_utf8是二进制吗_utf8编码_utf8转2进制_utf8转二进制
09-14
UTF8编码是Unicode的一种实现方式，它是一种广泛用于文本数据编码的标准。在计算机科学中，字符通常被编码成数字，而这些数字可以是二进制形式。UTF8就是一种将字符编码为二进制的形式，使得不同的语言和字符集能够...
UTF-8编码
N的专栏
02-27 931
UTF-8编码定义 UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。  如表：  1字节 0xxxxxxx  2字节 110xxxxx 10xxxxxx  3字节 1110xxxx 10xxxx
精选资源
encode-utf8:使用 UTF8 编码将字符串转换为 ArrayBuffer
08-04
编码 UTF8 使用 UTF8 编码将字符串转换为 ArrayBuffer。 安装 npm install -- save encode - utf8 用法 import encodeUtf8 from 'encode-utf8' console . log ( encodeUtf8 ( 'Hello, World!' ) ) //=> ...
Discuz! X 官方 GBK/UTF8编码转换工具
06-23
X 官方 GBK/UTF8编码转换工具详解》 Discuz! X 是一款广泛应用的开源社区论坛软件，它为用户提供了一个高效、功能丰富的互动平台。在使用过程中，由于历史原因或者不同环境的需求，我们可能会遇到论坛数据编码格式...
Xcode控制台把UTF8编码显示成中文
06-08
然而，当这些信息中包含中文字符时，Xcode的控制台默认可能会按照UTF8编码显示，而不是直接以中文形式展示，这给调试带来了不便。标题"Xcode控制台把UTF8编码显示成中文"正是针对这一问题提供了解决方案。 首先，...
对UTF8编码的初步认识.rar_UTF8_utf
09-23
UTF8编码是现代计算机系统中广泛使用的字符编码标准，它是一种可变长度的Unicode编码方式。这个压缩包“对UTF8编码的初步认识.rar_UTF8_utf”包含两个文件：“对UTF8编码的初步认识.htm”和“www.pudn.com.txt”，...
UTF-8编码规则
热门推荐
sandyen的专栏
08-23 3万+
UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。 如表： 1字节 0xxxxxxx 2字节 110xxxxx 10xxxxxx 3字节 1110xxxx 10xxxxxx 10xxxxxx 4字节 111
【转】utf-8的中文是一个汉字占三个字节长度
weixin_34117211的博客
01-18 1590
因为看到百度里面这个人回答比较生动，印象比较深刻，所以转过来做个笔记 原文链接 https://zhidao.baidu.com/question/1047887004693001899.html 知乎也有更清晰解答 https://www.zhihu.com/question/23374078 1、美国人首先对其英文字符进行了编码，也就是最早的ascii码，用一个字节的低7位来表示英...
编码格式：UTF-8（8-bit Unicode Transformation Format）
Wei_sx的博客
11-13 2436
UTF-8 是一种灵活、高效且广泛应用的字符编码方案，能够处理多语言文本，是现代互联网和软件开发的标准选择。UTF-8 是一种广泛使用的字符编码形式，旨在支持全球多种语言的字符集。兼容性：UTF-8 是向后兼容 ASCII 的，这意味着任何有效的 ASCII 文本在 UTF-8 编码下也会保持不变，这使得与旧系统兼容变得更容易。广泛应用：UTF-8 是网页设计和数据库存储中最受欢迎的编码格式，为全球网站和应用程序的互操作性提供支持。变长编码：UTF-8 使用 1 至 4 个字节来编码一个字符。
什么是UTF-8编码
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
06-05 3万+
UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用一至四个字节对Unicode字符集中的所有有效编码点进行编码，属于Unicode标准的一部分，最初由肯·汤普逊和罗布·派克提出。[2][3]由于较小值的编码点一般使用频率较高，直接使用Unicode编码效率低下，大量浪费内存空间。UTF-8就是为了解决向后兼容ASCII码而设计，Unicode中前128个字符，使用与ASCII码相同的二进制值的单个字节进行编
Unicode,UTF-8,UTF-16,UTF-32各是什么，以及它们之间的关系
weixin_43888377的博客
10-03 631
Unicode是计算机科学领域的一项业界标准，包括字符集、编码方式等。Unicode是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。 因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理，但要表示中文，一个字节是不够的，，为了统一所有文字的编码，Unicode应运而生。Unico...
宽字节注入讲解
Web安全工具库
09-09 5363
我讨厌现在的自己，一边压抑着自己的情绪，一边装作没事的样子，一到深夜就彻底崩溃了，天亮后还要微笑面对生活。。。 ---- 网易云热评 一、原理 1、单字节字符集： 所有的字符都使用一个字节来表示，比如 ASCII 编码(0-127) 2、多字节字符集： 在多字节字符集中，一部分字节用多个字节来表示，另一部分（可能没有）用单个字节来表示。 3、宽字节注入是利用mysql的一个特性，使用GBK编码的时候，会认为两个字符是一个汉字 二、addslashes()函数 1、addslashes(..
UTF8编码
最新发布
06-04
### UTF-8 编码介绍 UTF-8 是一种可变长度的字符编码方式，广泛应用于网页和软件开发中。它是一种基于 Unicode 的编码标准，能够表示全球几乎所有的语言字符[^1]。UTF-8 使用 1 至 4 个字节为每个字符编码，具体取决于字符所在的 Unicode 区域[^2]。 在实际应用中，UTF-8 编码因其高效性和兼容性成为主流选择。例如，在 HTML 网页中设置 UTF-8 编码可以通过以下方式实现： ```html <meta charset="UTF-8"> ``` 这行代码确保网页内容以 UTF-8 格式进行解析和显示[^1]。 ### UTF-8 编码的使用方法 #### 在 Python 中使用 UTF-8 编码 Python 默认支持 UTF-8 编码。如果需要显式设置文件或字符串的编码格式，可以使用 `open` 函数并指定 `encoding='utf-8'` 参数。例如： ```python with open('example.txt', 'r', encoding='utf-8') as file: content = file.read() ``` 此外，对于 CSV 文件的编码转换，可以使用 Python 的 `codecs` 模块完成从其他编码到 UTF-8 的转换[^3]： ```python import codecs # 将文件从 GBK 转换为 UTF-8 with codecs.open('input.csv', 'r', encoding='gbk') as source_file: with codecs.open('output.csv', 'w', encoding='utf-8') as target_file: for line in source_file: target_file.write(line) ``` #### 设置 Python 默认编码为 UTF-8 虽然 Python 3 默认使用 UTF-8 编码处理字符串，但某些情况下可能需要明确设置默认编码。可以通过修改环境变量或配置文件来实现这一点[^4]。例如，在脚本开头添加以下代码： ```python import sys sys.setdefaultencoding('utf-8') ``` 注意：此方法仅适用于 Python 2.x 版本；Python 3 已内置 UTF-8 支持。 ### 总结 UTF-8 编码以其灵活性和广泛适用性成为现代编程和网络开发中的首选编码方式。无论是 HTML 网页、CSV 文件还是 Python 脚本，都可以通过简单配置实现对 UTF-8 编码的支持。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值