python 编码 问题 UTF-8 unicode

最新推荐文章于 2024-08-30 16:00:21 发布
原创 最新推荐文章于 2024-08-30 16:00:21 发布 · 5.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #脚本 #测试

本文深入解析Python处理包含中文的字符串时，如何正确选择和声明编码，避免解释错误，并详细介绍了ASCII、UNICODE、UTF-8、GB2312等编码方式及其在Python中的应用。同时，提供了几个关键的编码常数，帮助读者快速掌握常见编码的表示形式。

每次遇到python处理含有中文的字符串时，utf-8, unicode, gb2312这些名词总是跳出来捣乱，然后经过网上一番搜索和烦恼的测试之后，才能最终解决问题。

可是，但是，可但是，这个问题在再一次遇到的时候，又是一番重复，烦不胜烦之下，记在案，常常来温习一下。（难道是我脑子不好了，没记性了，疲了???）

 

一些名词

ASCII - 一种编码方式

UNICODE - 又一种编码方式

UTF-8 - 又一种编码方式

Little endian和Big endian - 编码的“码”是如何存放的，从小到大还是从大到小

GB2312 - 汉字编码的一种，

代码页 -就是代码页

 

到这里看看就明白了，别的地方都不需要再看了

http://wiki.woodpecker.org.cn/moin/PyInChinese

 

 

关键的地方：如果python源文件中出现非ascii字符串，就需要指定编码声明

如果你的代码中出现：s = u"大a小"，python大概要用编码声明，大概啊就要用编码声明去将字符串s转换为PyUnicodeObject

如果你编码声明为utf-8，而文件保存的格式不是utf-8，那么python解释就会出错。

如果你编码声明为gbk，那么，很好，你python源文件保存可以了，操作系统保存中文就是用系统的缺省编码保存的。

不论你的编码是什么，如果你在脚本执行过程中读入一个文件，那么这个就不是python在解释你的脚本，而是脚本的执行了。

这个文件的编码格式只有你知道，你把这个文件的内容送给一个字符串，是需要decode还是encode就只有你自己知道了。

 

 

几个常数，背下来有好处

D1 CF 严GB2312编码

严Unicode 编码是4E25。

严的UTF-8: E4B8A5

 

0x3f800000=1.0

0x3f333333=0.7

01 03 00 00 00 01 =  0a 84

01 03 00 01 00 01 =  ca d5

 

 

 

asmc51
关注
python UTF-8解码及脚本头的标注
NLP与推荐算法
04-07 1598
python的解码utf-8及脚本头注释
python utf 8-sig_Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
weixin_39793794的博客
12-15 708
先举个例子，分别以不指定编码、指定编码为 utf-8、指定编码为 utf-8-sig 三种方式来做比较，再将写入 csv 文件和 txt 文件来做个对比一、不指定编码方式，直接存入 csv 文件import csvwith open('test.csv', 'w') as fp:writer = csv.writer(fp)writer.writerow(['汉语', '俄语', '韩语', '日...
UTF-8 编码格式(python)
小胖_@的博客
07-27 3万+
utf-8简介 UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，由Ken Thompson于1992年创建，现在已经标准化为RFC 3629。UTF-8用1到4个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。 计算机中使用1-6个字节表示一个UTF-8字符；大多数......
【Python】新手入门（5）：# -*- coding: UTF-8 -*- 的作用详解
创作高质量博文，分享知识，共同进步！
03-06 6214
📚【Python新手入门】一文详解`# -*- coding: UTF-8 -*-`的作用！💡 编码声明在Python中至关重要，确保字符正确显示。📜 文章教你如何正确使用`# -*- coding: UTF-8 -*-`，避免乱码问题。🔍 还有方法教你如何确定文件编码。📖 总结与回顾让你更好地掌握编码知识。🤝 与你共同进步，探索Python的无限魅力！#Python编码声明 #UTF8编码 #Python新手入门 #乱码问题解决方案
python encode('utf8') problem
Eric.Net的专栏
05-05 249
url='aa'print type(url)print url.encode('utf8')以上是ok的keyword="中国"print keyword.encode("utf8")就会报错了UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)...
python文件编码说明 coding=utf-8
weixin_30426879的博客
02-10 415
python 支持3种编码声明，一般常用能见到下面两种 1.# -*- coding: utf-8 -*- 这种写法是为了兼容Emacs的编码声明 2.短一点，但Emacs不能用# coding=utf-8 短一点，但Emacs不能用 之所以要声明未编码类型 ，主要是中文出错的问题。 在python 文件开头（一般是第一行或第二行），用来说明你的Python源程序文件用使用的...
Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
09-17
### Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题 #### 一、背景介绍 在处理包含非英文字符的数据时，尤其是使用 Python 的 `csv` 模块来操作 CSV 文件时，可能会遇到字符编码问题，导致中文等非英文...
Python3编码问题 Unicode utf-8 bytes互转方法
12-23
为什么需要本文，因为在对接某些很老的接口的时候，需要传递过去的是16进制的hex字符串，并且要求对传的字符串做编码，这里就介绍了utf-8 Unicode bytes 等等。 #英文使用utf-8 转换成16进制hex字符串的方法 newstr...
字符编码转换 Text、ANSI、Unicode、Unicode Big Endian、UTF-8、UTF-7
06-07
UTF-7现在并不常用，因为UTF-8已经足够兼容ASCII且能表示所有Unicode字符，而UTF-7的安全性问题也限制了其应用。 在实际操作中，这些编码间的转换通常是通过编程语言的库函数或者专用的转换工具完成的。例如，...
Python中关于coding=utf-8以及中文字符前加u的解释
敲代码的quant的博客
02-05 5万+
写了很久的Python了，每次写之前都要在开头加上coding=utf-8，只知道是设置编码格式，但并没有太在意，今天在写socket编程时才发现编码格式的重要性。 一、关于开头coding=utf-8 开头的coding=utf-8和coding:utf-8的作用是一样的。 作用是声明python代码的文本格式是utf-8，python按照utf-8的方式来读取程序。 如果不加这个声明，
python程序采用unicode编码、英文字符,Python 与 Unicode
weixin_39726408的博客
03-26 629
unicode 与 utf8 的关系unicode 定义了统一的字符集, UTF8 则是一种编码 unicode 字符集的方式.在 python2 中,str类型,unicode类型都是basestring的子类, 其中str类型就好比 C 语言中的字符串,unicode类型就好比 C 语言中的宽字符串.因为 utf8 的编码方式不使用 0x0 填充, 一串 utf8 字符流实...
python的默认编码（UTF-8）
s1737235537的博客
12-07 5315
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312’)，表示将gb2312编码的字符串str1转换成unicode编码。...
Python 源代码编码强制使用 UTF-8 的利弊
D0126_的博客
08-30 849
Python 是一种流行的编程语言，它可以运行在多个平台上，例如 Windows、Linux 和 macOS 等。在不同的平台上，对源代码的编码方式可能会存在差异。传统的做法是，在 Python 源代码文件的开头添加来显式指定源代码的编码方式为 UTF-8。这种做法可以确保在不同的平台上都能正确解读和执行 Python 源代码。近年来，随着 Unicode 的普及，越来越多的开发人员开始倡导强制使用 UTF-8 作为 Python 源代码的默认编码方式。
Python utf-8编码转换方法
我点评的博客
05-15 1万+
在Python编程开发中，处理字符串的编码问题是很重要的一部分。在Python中，我们可以使用encode()和decode()函数进行字符串的编码转换，其中，UTF-8编码是一种常用的编码方式，需要我们掌握其转换方法。在代码中，我们首先定义了一个UTF-8编码的字符串str1，然后使用decode()函数将它转换成Unicode编码的字符串，存储在变量str2中。在代码中，我们首先定义了一个字符串str1，然后使用encode()函数将它转换成UTF-8编码的字符串，存储在变量str2中。
UTF-8编码规则
技术的学习与积累是个技术活
09-19 980
UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。  如表：  1字节 0xxxx
UTF-8编码格式
zl_1719828096的博客
06-30 524
已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。通过上一节的例子，可以看到“严”的Unicode码是4E25，UTF-8编码是E4B8A5，两者是不一样的。正如名称所示，这是所有符号的代码。1）对于单字节的符号，字节的第一位（字节的最高位）设为0，后面7位为这个符号的unicode码。
python 以 utf-8 格式写文件
weixin_43456810的博客
09-11 2418
python 以 utf-8 格式写文件
python文件开头声明UTF-8编码的几种常用形式
热门推荐
weixin_42468029的博客
05-14 6万+
Python默认ASCII编码，如包含中文，为防止乱码，往往需要在编码开头重新声明编码类型 常用的形式有以下几种，放在码文件的第一行或第二行 1.# -*- coding: <encoding name> -*- : # -*- coding: utf-8 -*- 2. # coding=<encoding name> ： # coding=utf-8 3. # codi...
【Python学习 】如何将UTF-8编码转换成UTF-8 BOM编码？
字节卷动
06-23 8588
一、需求描述 在我之前的博客： 【我的Android进阶之旅】使用TextAnalysisTool来快速提高你分析文本日志的效率 中有介绍下面一个关于中文无法显示的问题，如下所示： 有时候，中文无法正常显示，如下所示都是乱码 这个时候，我们需要借助下 NotePad++ 工具，对整个日志文件进行转码，如下所示 我们发现，此文件用NotePad++ 打开，可以直接显示中文， 编码格式为 UTF-8编码 我们使用快捷键 Ctrl+A 全选日志内容，选择【编码】–>【使用 UTF-8 BOM编码】，将
python中unicode编码转为utf-8编码
最新发布
03-22
### Unicode 编码转换为 UTF-8 的方法 在 Python 中，可以通过 `encode` 和 `decode` 方法来完成 Unicode 到 UTF-8 的相互转换。以下是详细的说明以及代码示例。 #### 使用 encode 方法将 Unicode 转换为 UTF-8 字节流 当需要将一个 Unicode 字符串转换成字节形式时，可以调用字符串对象的 `.encode()` 方法，并指定目标编码格式为 `'utf-8'`[^2]。此操作会返回该字符串对应的字节数组表示。 ```python text = "你好，世界！" byte_data = text.encode('utf-8') print(f"Byte data: {byte_data}") # 输出 b'\xe4\xbd\xa0\xe5\xa5\xbd\xef\xbc\x8c\xe4\xb8\x96\xe7\x95\x8c\xef\xbc\x81' ``` #### 使用 decode 方法将 UTF-8 字节流转回 Unicode 字符串 如果有一个以 UTF-8 形式的字节数组，则可通过 `.decode('utf-8')` 来将其解码还原成为原始的 Unicode 文本。 ```python decoded_text = byte_data.decode('utf-8') print(f"Decoded Text: {decoded_text}") # 输出 '你好，世界！' ``` #### 文件读写的例子 对于实际应用中的文件存储场景，也可以利用内置函数轻松实现数据持久化与恢复过程： ```python # 写入UTF-8编码的数据至文件 with open('output.txt', 'w', encoding='utf-8') as writer: writer.write(text) # 从文件中读取并验证内容一致性 with open('output.txt', 'r', encoding='utf-8') as reader: loaded_content = reader.read() assert loaded_content == text, "Data mismatch!" ``` 另外，在涉及 JSON 序列化的场合下，为了保持非 ASCII 字符不被转义，推荐设置参数 `ensure_ascii=False`[^3]^: ```python import json data = {"message": "你好"} json_str = json.dumps(data, ensure_ascii=False) print(json_str) # '{"message": "你好"}' ``` 以上即是在 Python 环境里处理 Unicode 至 UTF-8 及反向流程的具体方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值