utf-8占几个字节

最新推荐文章于 2023-01-06 14:11:56 发布
转载 最新推荐文章于 2023-01-06 14:11:56 发布 · 3.5w 阅读 · 4

占2个字节的：〇

占3个字节的：基本等同于GBK，含21000多个汉字

占4个字节的：中日韩超大字符集里面的汉字，有5万多个

一个utf8数字占1个字节

一个utf8英文字母占1个字节

 

在查找 UTF-8 编码资料时发现，很多的帖子说的 UTF-8 编码里，一个汉字占用3个字节，有的还做了个证明，大概是这样的，创建一个没有BOM的UTF-8编码的文本文件，里面保存了几个汉字，然后查看文件的大小。我觉得这样的证明没有一点说服力，因为 UTF-8 是变长的，1-6个字节，少量的汉字检测是不能说明所有的汉字都是的。

后来我又查看了字符映射表－汉语，找到了正确的答案，少数是汉字每个占用3个字节，多数占用4个字节。

占用3个字节的范围

[text]  view plain copy
  1. U+2E80 - U+2EF3 : 0xE2 0xBA 0x80 - 0xE2 0xBB 0xB3      共 115 个  
  2. U+2F00 - U+2FD5 : 0xE2 0xBC 0x80 - 0xE2 0xBF 0x95      共 213 个  
  3. U+3005 - U+3029 : 0xE3 0x80 0x85 - 0xE3 0x80 0xA9      共 36 个  
  4. U+3038 - U+4DB5 : 0xE3 0x80 0xB8 - 0xE4 0xB6 0xB5      共 7549 个  
  5. U+4E00 - U+FA6A : 0xE4 0xB8 0x80 - 0xEF 0xA9 0xAA      共 44138 个  
  6. U+FA70 - U+FAD9 : 0xEF 0xA9 0xB0 - 0xEF 0xAB 0x99      共 105 个  

合计： 52156 个

占用4个字节的范围

[text]  view plain copy
  1. U+20000 - U+2FA1D : 0xF0 0xA0 0x80 0x80 - 0xF0 0xAF 0xA8 0x9D      共 64029 个  

合计： 64029 个

utf-8编码下，一个字符最多占几个字节?
流楚丶格念的博客
09-26 4433
2，带有变音符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文等字母则需要2字节编码（Unicode范围由U+0080~U+07FF）。Unicode编码：一个英文等于两个字节，一个中文（含繁体）等于两个字节。中文标点占两个字节，英文标点。3，其他语言的字符（包括中日韩文字、东南亚文字、中东文字等）包含了大部分常用字，使用3字节编码。1，一个US-ASCIl字符只需1字节编码（Unicode范围由U+0000~U+007F）。一个英文字符等于一个字节，英文标点占一个字节。
utf-8中的汉字占用多少字节
wocjj的专栏
11-15 3104
资料出处：http://blog.youkuaiyun.com/chummyhe89/article/details/7777613 占2个字节的：〇 占3个字节的：基本等同于GBK，含21000多个汉字 占4个字节的：中日韩超大字符集里面的汉字，有5万多个 一个utf8数字占1个字节 一个utf8英文字母占1个字节   在查找 UTF-8 编码资料时发现，很多的
utf-8编码中一个汉字占三个字节
亲，如果文章对你有帮助的话请点个关注吧！
12-08 2800
utf-8 gbk汉字字节
utf-8 中的一个汉字占几个字节
u011513212
10-20 1万+
原文链接：http://blog.youkuaiyun.com/chummyhe89/article/details/7777613 占 2 个字节的：〇 占 3 个字节的：基本等同于 GBK，含 21000 多个汉字 占 4 个字节的：中日韩超大字符集里面的汉字，有 5 万多个 1 个 utf8 数字占 1 个字节 1 个 utf8 英文字母占 1 个字节 在查找 UTF-8 编
utf-8中一个汉字是3个字节，你知道吗？
热门推荐
weixin_43231592的博客
07-10 1万+
问题导入：     今天学习了mysql中的函数，length(字符串)，计算字符串长度函数，返回字符串的字节长度。 select length(‘abc’); 查询的结果是3。 select length(‘中国’)； 查询的结果是6。 第二个查询为什么是6，在网上查了下资料，原来utf-8编码的汉字是3个字节。但是，我们不是常说，1个字母占1个字节，1个汉字一般占2个字节。 那这究竟是怎么回事？于是我找了下各种编码之间的关系，如下： 一、ASCII
java 解决异常 2 字节的 UTF-8 序列的字节2 无效的问题
08-31
对于ASCII字符（基本的英文字符），UTF-8使用1个字节表示；对于大多数其他Unicode字符，它使用2-4个字节。如果在解析过程中遇到的字节序列不符合UTF-8的规则，解析器就会抛出异常。 这个异常的具体原因可能有以下几...
gb2312，utf-8，utf-8-bom等编码格式的互相转换
11-04
对于ASCII字符（如英文字符），UTF-8只用一个字节，而对于非ASCII字符，如汉字，可能需要2到4个字节。UTF-8的最大优点在于其向后兼容ASCII，因此在网络传输和存储中被广泛应用。 UTF-8-BOM，全称是“UTF-8 Byte ...
字符编码转换 Text、ANSI、Unicode、Unicode Big Endian、UTF-8、UTF-7
06-07
本篇文章将深入探讨标题中提及的几种字符编码：Text、ANSI、Unicode（包括Little Endian和Big Endian）、UTF-8以及UTF-7，并介绍它们之间的转换。 1. **Text编码**： 在Windows系统中，通常所说的"Text"编码是指...
关于字符编码
__一叶__的博客
10-09 2399
美国人首先对其英文字符进行了编码，也就是最早的ascii码，用一个字节的低7位来表示英文的128个字符，高1位统一为0； 后来欧洲人发现尼玛你这128位哪够用，比如我高贵的法国人字母上面的还有注音符，这个怎么区分，得，把高1位编进来吧，这样欧洲普遍使用一个全字节进行编码，最多可表示256位。欧美人就是喜欢直来直去，字符少，编码用得位数少； 但是即使位数少，不同国家地区用不同的字符编码，虽然0–1
Utf-8编码汉字占多少个字节
yang114544的博客
06-26 6324
占2个字节的：带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要二个字节编码 占3个字节的：基本等同于GBK，含21000多个汉字 占4个字节的：中日韩超大字符集里面的汉字，有5万多个 一个utf8数字占1个字节 一个utf8英文字母占1个字节 少数是汉字每个占用3个字节，多数占用4个字节。 ...
【转】utf-8的中文是一个汉字占三个字节长度
weixin_34117211的博客
01-18 1597
因为看到百度里面这个人回答比较生动，印象比较深刻，所以转过来做个笔记 原文链接 https://zhidao.baidu.com/question/1047887004693001899.html 知乎也有更清晰解答 https://www.zhihu.com/question/23374078 1、美国人首先对其英文字符进行了编码，也就是最早的ascii码，用一个字节的低7位来表示英...
一个汉字到底占多少字节？
xinshishenchao的博客
01-14 1万+
根据使用的编码不同，汉字所占的字节也是不确定的， 下面是知乎上的回答，感觉很全面了： GBK编码，一个汉字占两个字节。 UTF-16编码，通常汉字占两个字节，CJKV扩展B区、扩展C区、扩展D区中的汉字占四个字节（一般字符的Unicode范围是U+0000至U+FFFF，而这些扩展部分的范围大于U+20000，因而要用两个UTF-16）。 UTF-8编码是变长编码，
UTF8 中文占几个字节
weixin_42607969的博客
01-06 3968
在 UTF-8 编码中，中文字符会占用 1 至 4 个字节。对于常用的 ASCII 字符，例如数字、英文字母和标点符号，会占用 1 个字节，但对于更复杂的字符，例如中文字符，就会占用更多的字节。 一般来说，UTF-8 编码中的中文字符会占用 3 个字节。但是，在某些情况下，例如在字符串的开头或者前面有较多的 ASCII 字符的情况下，中文字符会占用 4 个字节。 ...
汉字在UTF-8中的需要几个字节表示
weixin_34119545的博客
05-11 388
2019独角兽企业重金招聘Python工程师标准>>> ...
UTF-8的中文是几个字节
weixin_34319999的博客
04-08 488
2019独角兽企业重金招聘Python工程师标准>>> ...
utf-8编码中的中文占几个字节；int型几个字节？
suncat的博客
07-08 8070
utf-8的编码规则： 如果一个字节，最高位为0，表示这是一个ASCII字符（00~7F）如果一个字节，以11开头，连续的1的个数暗示这个字符的字节数 一个utf8数字占1个字节 一个utf8英文字母占1个字节 少数是汉字每个占用3个字节，多数占用4个字节。 ...
mysql中utf8编码一个汉字等于几个字符和字节的长度问题
qq_38469069的博客
11-07 4553
只适用mysql5.0以上的版本： 1.一个汉字占多少长度与编码有关： UTF－8：一个汉字＝3个字节 1character=3bytes, 1汉字=1character 也就是说一个字段定义成 varchar(200)，则它可以存储200个汉字或者200个字母。 2. GBK：1character=2bytes,1汉字=1character 也就是说一个字段定义成 varchar(200)...
关于UTF-8所占用的字节以及UTF-8与GB2312之间的关系
weixin_33922670的博客
11-24 1315
一、UTF-8规则下的汉字 　　使用UTF-8编码方式的文件，一个汉字所占用的是三个字节(byte)，而其他字母控制字符之类还是按照ASCII的编码方式，即占一个字节。为了在解码的时候区分，经对三千个常用汉字的测试发现，在汉字所占用的三个字节当中： 一个字节转换为10进制的范围为：[-28 ~ -23] 第二个字节和第三个字节的10进...
UTF-8字符集一个汉字占几个字节
xiao2macf的专栏
04-11 6548
一次在定义中文字符串的数组时，按着以往的认知：一个汉字占两个字节，存4个汉字，共占用8+1个’\0’的位置，总共9个字节，结构最后赋值时，确发现数组后连的数据不对了，经查实才发现是数组越界，上网查资料后才发现utf8的中文并不是占两个字节。原来一个汉字占两个字节限于GBK或GB2313，不适用UTF-8。  以下是网上找到的资料：  UTF-8是变长的,长度在1-6字节.查看了字符映射表－汉语
UTF-8汉字占几个字节
最新发布
08-23
### UTF-8编码中一个汉字占用多少字节？ UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码方式，其设计允许字符占用1到4个字节。对于汉字来说，UTF-8编码中一个汉字占用的字节数取决于具体的Unicode码点值。 #### 1. 汉字在UTF-8中的字节占用情况 汉字的Unicode码点主要分布在以下几个范围内，因此在UTF-8编码中占用的字节数也有所不同： - **基本多语言平面（BMP）中的汉字**：这些汉字的Unicode码点范围为`U+0800`到`U+FFFF`。在UTF-8编码中，这类汉字占用**3个字节**[^2]。 - **辅助平面中的汉字**：这些汉字的Unicode码点范围为`U+10000`到`U+10FFFF`。在UTF-8编码中，这类汉字占用**4个字节**。这种情况较为少见，主要涉及一些生僻字或古汉字。 因此，**大多数情况下，一个汉字在UTF-8编码中占用3个字节**，但部分特殊字符可能占用4个字节。 #### 2. UTF-8编码规则 UTF-8编码的设计规则决定了字符占用的字节数： - **1字节字符**：`0xxxxxxx`，表示ASCII字符（0-127）。 - **2字节字符**：`110xxxxx 10xxxxxx`，适用于码点范围`U+0080`到`U+07FF`。 - **3字节字符**：`1110xxxx 10xxxxxx 10xxxxxx`，适用于码点范围`U+0800`到`U+FFFF`。 - **4字节字符**：`11110xxx 10xxxxxx 10xxxxxx 10xxxxxx`，适用于码点范围`U+10000`到`U+10FFFF`。 由于大部分常用汉字位于`U+0800`到`U+FFFF`范围内，因此它们在UTF-8编码中占用**3个字节**。 #### 3. 实验验证 可以通过编程验证汉字在UTF-8编码中的字节占用情况。以下是一个简单的Python示例： ```python # 编码一个汉字为UTF-8字节 char = "汉" utf8_bytes = char.encode('utf-8') print(f"'{char}' 的UTF-8编码为：{utf8_bytes}，占用 {len(utf8_bytes)} 个字节") ``` 运行结果： ``` '汉' 的UTF-8编码为：b'\xe6\xb1\x89'，占用 3 个字节 ``` 该示例显示，汉字“汉”在UTF-8编码中占用3个字节。 #### 4. 常见误区 一些用户通过创建UTF-8编码的文本文件并检查文件大小来验证汉字占用的字节数，这种方法存在局限性。UTF-8是变长编码，字符占用的字节数因码点不同而变化，因此仅凭少量汉字的测试结果无法代表所有情况[^1]。 #### 5. 其他编码对比 - **GBK编码**：在GBK编码中，一个汉字占用**2个字节**，而英文字符占用**1个字节**[^3]。 - **UTF-8编码**：如前所述，一个汉字通常占用**3个字节**。 因此，UTF-8编码在处理多语言文本时更具优势，但中文文本在GBK编码下占用的存储空间更少。 ###
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值