UTF-8编码

最新推荐文章于 2020-07-13 18:41:19 发布
原创 最新推荐文章于 2020-07-13 18:41:19 发布 · 841 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformation #c

UTF（Universal Transformation Format）即通用转换模式。它其实和Unicode是同类，就是在编码方式上不同！

      首先UTF8编码后的大小是不一定，不像Unicode编码后的大小是一样的！
      我们先来看Unicode的编码：一个英文字母 “a” 和　一个汉字 “好”，编码后都是占用的空间大小是一样的，都是两个字节！而UTF8编码：一个英文字母“a” 和　一个汉字 “好”，编码后占用的空间大小就不样了，前者是一个字节，后者是三个字节！

UTF-8编码字节含义

  • 因为一个字母还有一些键盘上的符号加起来只用二进制七位就可以表示出来，而一个字节就是八位，所以UTF8就用一个字节来表式字母和一些键盘上的符号。然而当我们拿到被编码后的一个字节后怎么知道它的组成？它有可能是英文字母的一个字节，也有可能是汉字的三个字节中的一个字节！所以，UTF8是有标志位的！　　
  • 当要表示的内容是　7位　的时候就用一个字节：0*******  　第一个0为标志位，剩下的空间正好可以表示ASCII　0－127　的内容。
  • 当要表示的内容在　8　到　11　位的时候就用两个字节：110***** 10******  　第一个字节的110和第二个字节的10为标志位。
  • 当要表示的内容在　12　到　16　位的时候就用三个字节：1110***** 10****** 10****** 　　　和上面一样，第一个字节的1110和第二、三个字节的10都是标志位，剩下的空间正好可以表示汉字。
  • 以此类推：      四个字节：11110**** 10****** 10****** 10****** 
    　　五个字节：111110*** 10****** 10****** 10****** 10****** 
    　　六个字节：1111110** 10****** 10****** 10****** 10****** 10****** 
    　　.............................................
           ..............................................         

　   
现在就让我们来看看实例吧！
红色为标志位
其它着色为了显示其编码后的位置

Unicode十六进制           B                            9D                                              A89E

Unicode二进制        00001011             00010011101                            10101000 10011110

UTF8二进制             00001010        11000010 10011101        11101010 10100010 10011110

UTF8十六进制                B                         C2 9D                                  EA A2 9E

UTF8字节数                   1                             2                                            3
因为一个字母还有一些键盘上的符号加起来只用二进制七位就可以表示出来，而一个字节就是八位，所以UTF8就用一个字节来表
因为一个字母还有一些键盘上的符号加起来只用二进制七位就可以表示出来，而一个字节就是八位，所以UTF8就用一个字节来表
UTF8编码表
语不惊人死不休
10-14 55万+
UTF，是UnicodeTransformation Format的缩写，意为Unicode转换格式。UTF-8是UNICODE的一种变长字符编码，由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。     如果UNICODE字符由2个字节表示，则编码成UTF-8很可能需要3个字节，而如果UNICODE字符由4个字
UTF-8编码及非英文字符的处理与显示
海洋饼干叔叔
11-03 1463
char类型只包含1个字节的存储空间，而1个字节最多能表达256种不同的值。如果只表达英文字符及其标点符号，1个字节足够。但其它文字，比如中文，其“字符”有数万之多。在编码其它语言文字时，可能会使用到不同的多字节编码方案。
编码之UTF-8
w13687130701的专栏
07-09 748
字符编码相信是每个程序员的噩梦，只要是有中文的地方，总是会遇到各种编码的问题，并且这种问题还非常难缠，尤其在linux上，因为上面很多软件都是针对英语国家开发的，是不会考虑其他语种编码问题。在遇到编码的无数大坑之后，我决定仔细研究下编码问题，因为这就像一道坎一直横在你面前，每次到这里你都会跌到，每次爬起来之后，你都若无其事，这样的人被称作战士，真正的战士。可惜是个力量战士，做为新时代的智力战士，当
myeclipse中用空格代替tab键的设置
wangyang2698341的专栏
08-09 8687
Eclipse设置软tab(用4个空格字符代替)及默认utf-8文件编码(unix) 本文摘要： 1、如何配置Eclipse中编辑器支持softtab(用数个空格字符代替默认的tab缩进)； 2、如何配置Eclipse中编辑器默认支持Unix模式的Utf-8文件编码； -----------------------------------------详细内容如下--------------
utf8编解码详解
twwk120120的专栏
08-22 6013
utf8编解码详解及简单应用 编码规则 UTF-8是Unicode的一种实现，是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。 字节数 编码 二进制 1字节 0000 0000-0000 007F
Eclipse设置软tab(用4个空格字符代替)及默认utf-8文件编码(unix)
Qing619A的专栏
03-05 1021
本文摘要： 1、如何配置Eclipse中编辑器支持softtab(用数个空格字符代替默认的tab缩进)； 2、如何配置Eclipse中编辑器默认支持Unix模式的Utf-8文件编码； -----------------------------------------详细内容如下--------------------------------------------------
精选资源
UTF-8编码和GBK编码互转，一个头文件搞定！跨平台不使用第三方库
11-10
UTF-8编码和GBK编码互转，一个头文件搞定！跨平台不使用第三方库。只需要添加一些C语言标准的头文件即可实现俩种编码互相转换。摆脱第三方库移植问题。原理是将UTF-8编码的汉字、字母、符号、数字等转换成unicode...
精选资源
中文字符 UTF-8 编码查询表
10-06
为大家提供Python的UTF-8编码查询表，大家可以对照左列的编码查询右列的汉字。 例：\u4e00对应汉字“一”
精选资源
textfile.js：读写UTF-8编码的文本文件
02-16
读写UTF-8编码的文本文件 使阅读，保存和编辑文本文件更加简单和更具描述性： 编码始终为UTF-8。 同步和异步API。 支持打字稿。 区分： 读取：文件必须存在才能读取。 创建：不允许写入的文件已经存在。 写入...
utf-8编码转换工具.zip
10-31
该程序支持.c .h .cpp .hpp .bat .java等6种格式的文件编码转换，如果需要添加其他格式的文件，直接修改suffix的条件判断处的语句即可，压缩包中提供exe程序和python写的源码
精选资源
易语言-判断文本文件是否为UTF-8编码
06-29
本示例着重讲解如何判断一个文本文件是否采用UTF-8编码。 UTF-8是Unicode的一种变体，它广泛用于网络和计算机系统，因为它能表示Unicode中的所有字符，并且与ASCII兼容。UTF-8的特性在于每个字符可以由1到4个字节...
Eclipse 的 Tab 和空格，UTF-8 设置
蜡笔小辛的专栏
06-23 5144
Eclipse 的 Tab 和空格，UTF-8 设置
Unicode,UTF-8,UTF-16傻傻分不清？一文看懂
vcj1009784814的博客
06-24 1837
文章目录ASCIIUnicodeUTF-8UTF-16UTF-32 ASCII 美国人制定的一套字符集，描述英语中的字符和8位二进制数（1字节）的对应关系，这被称为 ASCII 码。ASCII码共定义了128个字符，使用了8位二进制数中的7位，最高位统一规定为0。128个字符对英语来说足够了，但对于其他语言来说是不够的。大家在0~127号字符上达成了一致，但对于128~255号字符，不同国家有不同...
vim linux 配置 tab 缩进 中文 utf-8 等
All of my life is programming!
10-28 2805
----------------------------------------------------------------------------------- 我到vim配置： ----------------------------------------------------------------------------------- set smarttab
在Windows的CMD中如何设置支持UTF8编码?
weixin_34194551的博客
09-08 154
  　 　这个问题很多人开始都会不知道，当然包括曾经的我，当用到的时候，只好求助于伟大的股沟和度娘了。网上有设置的方法，但说明确不够详细系统，说设置字体 为：Lucida Console。问题是，在默认方式下，只有点阵字体，哪有什么Lucida Console。所以，在自己成功设置后，拿出来和大家分享下过程，下面就让我们找出Lucida Console来设置吧。  　　这里需要先了解些内容： ...
UTF8编码
大灰狼的专栏
01-24 1281
Unicode的编码：一个英文字母 “a” 和　一个汉字 “好”，编码后都是占用的空间大小是一样的，都是两个字节！ 而UTF8编码：一个英文字母“a” 和　一个汉字 “好”，编码后占用的空间大小就不样了，前者是一个字节，后者是三个字节！ UTF8编码的原理： 因为一个字母还有一些键盘上的符号加起来只用二进制七位就可以表示出来，而一个字节就是八位，所以UTF8就用一个字节来表式
UTF-8 编码 对照表
热门推荐
开心最重要
07-13 2万+
分享一个UTF-8对照表的链接，方便查询 https://www.utf8-chartable.de/unicode-utf8-table.pl?utf8=dec 就这么简单的博客，哈哈哈
URL编码表(UTF-8)
LANWENBING的专栏
01-17 5102
backspace %08 tab %09 linefeed %0A creturn %0D space %20 ! %21 " %22 # %23 $ %24 % %25 & %26
UTF-8 编码
最新发布
08-19
UTF-8（Unicode Transformation Format - 8-bit）是一种针对Unicode的可变长度字符编码方式，广泛用于互联网和现代操作系统中。它能够表示所有Unicode字符集中的字符，同时保持与ASCII编码的兼容性，这使得UTF-8成为全球最常用的字符编码之一。 ### UTF-8 编码原理 UTF-8编码的核心思想是将Unicode码点（code point）转换为1到4个字节的序列，具体取决于字符的Unicode值。以下是UTF-8编码的基本规则： 1. **ASCII字符（U+0000 到 U+007F）**：这些字符在UTF-8中直接使用单个字节表示，与ASCII编码完全一致。例如，字符“A”（U+0041）在UTF-8中表示为`0x41`。 2. **多字节字符（U+0080 及以上）**：对于非ASCII字符，UTF-8使用一种前缀编码机制来表示。每个字节的高位部分用于标识该字符的编码长度以及当前字节的角色（起始字节或后续字节）。具体来说： - 2字节序列：用于表示U+0080到U+07FF范围内的字符。起始字节以`110xxxxx`的形式开头，后续字节以`10xxxxxx`的形式表示。 - 3字节序列：用于表示U+0800到U+FFFF范围内的字符。起始字节以`1110xxxx`的形式开头，后续两个字节均以`10xxxxxx`的形式表示。 - 4字节序列：用于表示U+10000到U+10FFFF范围内的字符。起始字节以`11110xxx`的形式开头，后续三个字节均以`10xxxxxx`的形式表示。 例如，字符“汉”（U+6C49）属于U+0800到U+FFFF范围，因此使用3字节序列进行编码。其二进制表示为`01101100 01001001`，拆分为三部分后，分别填充到3字节模板中，最终得到`11100110 10110001 10001001`，对应的十六进制为`E6 B1 89`。 ### UTF-8 的使用方法 UTF-8编码在实际应用中非常灵活，适用于多种编程语言和系统环境。以下是几种常见的使用场景： #### 1. **在编程语言中处理UTF-8** 大多数现代编程语言都内置了对UTF-8的支持。以下是一些常见编程语言中处理UTF-8的示例： - **Python**：Python 3默认使用UTF-8编码处理字符串。可以通过`encode()`方法将字符串编码为UTF-8字节序列，通过`decode()`方法将字节序列解码为字符串。 ```python text = "你好，世界" utf8_bytes = text.encode('utf-8') # 编码为UTF-8字节 decoded_text = utf8_bytes.decode('utf-8') # 解码回字符串 ``` - **JavaScript**：在Node.js环境中，可以使用`Buffer`对象来处理UTF-8编码。 ```javascript const text = "你好，世界"; const buffer = Buffer.from(text, 'utf-8'); // 编码为UTF-8字节 const decodedText = buffer.toString('utf-8'); // 解码回字符串 ``` - **Java**：Java中的`String`类提供了`getBytes()`方法用于将字符串编码为指定的字符集，`new String()`构造函数可用于解码字节数组。 ```java String text = "你好，世界"; byte[] utf8Bytes = text.getBytes(StandardCharsets.UTF_8); // 编码为UTF-8字节 String decodedText = new String(utf8Bytes, StandardCharsets.UTF_8); // 解码回字符串 ``` #### 2. **在网络传输中使用UTF-8** HTTP协议中，UTF-8常用于传输文本数据。服务器和客户端可以通过设置`Content-Type`头字段来指定使用的字符编码。例如： ``` Content-Type: text/html; charset=UTF-8 ``` 这表明发送的内容是HTML文档，并且使用UTF-8编码进行传输。 #### 3. **在文件操作中使用UTF-8** 处理文本文件时，确保文件内容以UTF-8编码保存和读取是非常重要的。以下是一些常见的文件操作示例： - **Python**：在打开文件时指定`encoding='utf-8'`参数。 ```python with open('example.txt', 'w', encoding='utf-8') as f: f.write("你好，世界") with open('example.txt', 'r', encoding='utf-8') as f: content = f.read() ``` - **Java**：使用`InputStreamReader`和`OutputStreamWriter`来指定字符编码。 ```java try (BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream("example.txt"), StandardCharsets.UTF_8))) { String line; while ((line = reader.readLine()) != null) { System.out.println(line); } } try (BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("example.txt"), StandardCharsets.UTF_8))) { writer.write("你好，世界"); } ``` ### 总结 UTF-8编码因其高效、兼容性强和广泛支持的特点，成为了现代软件开发和网络通信中最常用的字符编码方式。无论是在编程语言中处理字符串、在网络传输中传递数据，还是在文件操作中读写内容，UTF-8都能提供一致且可靠的编码支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值