python——字符编码

最新推荐文章于 2025-03-18 12:37:37 发布
最新推荐文章于 2025-03-18 12:37:37 发布
阅读量2.1k 收藏 6
点赞数 1
分类专栏： python 基础入门 教程 文章标签： python 开发语言 后端 字符串 编码器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenchen5152/article/details/122177701
版权
本文介绍了字符编码的基础知识，包括字符编码的历史发展，如ASCII、GBK、Shift_JIS、EUC-KR和Unicode（UTF-8）。重点讲解了Unicode的产生背景和作用，以及在Python中处理字符编码的实操技巧，包括解决乱码问题、Python2和Python3的编码差异，以及编码解码的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

python——字符编码

在这里插入图片描述

字符编码

字符编码简介

由于计算机内部只识别二进制，但是用户（全球人类）在使用计算机的时候可以看到各式各样的语言，所以这中间必须对不同语言进行‘翻译’，计算机才能识别，这个翻译的标准就是字符编码表，数字和字符一一对应。

‘翻译’过程

  • 用户 → 计算机 → 用户
  **字符 → 数字 （01二进制）→ 字符**

字符串编码发展史

👉［ASCII](ASCII_百度百科 (baidu.com)

1.ASCII码

计算机最初是由美国人发明的，美国人为了能狗让计算机识别英文字符，发明了ASCII码，里面记录了英文与数字对应关系。如下图：

在这里插入图片描述

  • 所由英文字符和符号加起来不超过127个
  • 使用八位表示是为了后续发现新的语言
字符对应关系
  • A-Z：65-90
  • a-z：97-122

在python中，用ord（）方法查看字符对应的数字（十进制）

在这里插入图片描述

2.汉字编码 ——GBK

为了让计算机能够识别中文，发明了另外一套编码，GBK
GBK编码表记录了中文英文与数字的对

最低0.47元/天 解锁文章
python字符编码(一看就懂)
生产队的刘同学
08-12 2672
从今天开始我们就要学习文件相关的知识了，讲到文件的话有一种文件叫文本文件。文本文件涉及到了字符及字符概念，说到字符就必须考虑字符编码了，所以在讲文件之前必须了解字符编码。
Python——字符串编码转换
m0_70911440的博客
01-28 2108
其中，encode()方法用于将字符串从Unicode编码转换为指定的编码形式，而decode()方法用于将字符串从指定的编码形式解码为Unicode编码。另外，在多语言环境和国际化应用中，字符串编码转换也显得尤为重要，因为不同的地区和语言使用不同的字符编码方式，必须进行正确的转换才能确保数据的准确性和完整性。除了使用encode()和decode()方法外，还可以使用open()函数读取和写入文件时指定编码方式，以及使用str()函数和bytes()函数进行字符串和字节串的转换。
Python字符编码详解
weixin_30510153的博客
01-03 173
Python字符编码详解 2011-01-03 13:25:45 本文简单介绍了各种常用的字符编码的特点，并介绍了在python2.x中如何与编码问题作战 ：） 请注意本文关于Python的内容仅适用于2.x，3.x中str和unicode有翻天覆地的变化，请查阅其他相关文档。 尊重作者的劳动，转载请注明作者及原文地址 >.< 转自http://hi....
深入理解Unicode规范化与韩文字母编码
最新发布
weixin_31974443的博客
03-18 453
本文深入探讨了Unicode规范化的核心概念，特别是针对CJK字符和韩文字母的编码方式。分析了预组合和分解编码的优缺点，以及如何在文本处理中应用规范化形式以简化比较和排序操作。同时，介绍了图形簇的概念，及其在文本编辑和渲染中的应用。
Python 字符编码
IForFree
06-01 2805
在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicode。 unicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为utf8省空间。 在python 3,encode编码的同时会把string变成bytes类型，decode解码的同时会把bytes类型变成string类型。
python基础——字符编码
xiaohei07的博客
07-13 1万+
python 2.x默认的字符编码是ASCII，默认的文件编码也是ASCII。python 3.x默认的字符编码是unicode，默认的文件编码是utf-8。不同的编码之间不能互相识别，不能相互转化，会报错或出现乱码，所以一定要进行区别。因此，本篇介绍这三种出现的编码以及额外的中文GB2312编码。
【Python基础】关于字符编码(ASCII,GB2312,Unicode,UTF-8,UTF-16,UTF-32)，有这一篇就够了！
古韵悠长的博客
08-17 1万+
计算机中储存的信息都是用二进制数表示的；而我们在屏幕上看到的英文、汉字等字符是二进制数转换之后的结果。通俗的说，按照何种规则将字符存储在计算机中，如’a’用什么表示，称为"编码"；反之，将存储在计算机中的二进制数解析显示出来，称为"解码"，如同密码学中的加密和解密。在解码过程中，如果使用了错误的解码规则，则导致’a’解析成’b’或者乱码。 1 基础知识 1.1 字符集(Charcater Set)与字符编码(Encoding) 字符集（Charcater Set或Charset）：是一个系统支持的所有抽象
初识Python——字符串中的转义字符
Weixinsuiyue的博客
07-07 301
转义字符可以在Python输出内容的时候对字符串做一些格式的调整 转义字符概述 转义字符 含义 \\ 反斜线 \’ 单引号 \" 双引号 \t 横向制表符 \n 换行符，将光标位置移到下一行开头 \r 回车符，将光标位置移到本行开头 \b 退格（Backspace），将光标位置移到前一列 \ 在字符串行尾的续行符，即一行未完，转到下一行继续写 参考：http://c.biancheng.net/view/2176.html 实例 1. \\ 获取一个文件的地址
Python ——字符串的内置方法
weixin_43801991的博客
01-01 412
字符串的内置方法 上一篇文章只是介绍了字符串的转义和格式化，本篇文章着重介绍一下字符串的内置方法和基本操作。字符串的内置方法有30种左右，本篇简单介绍一下常用的几种。想了解更多，请自行移步求助伟大的 help（）。 基本操作 1：字符串的拼接 字符串加字符串的语法，在Python中成为字符串的拼接 2:字符串的乘法 3:字符串拥有列表的部分操作方法 (1)索引 (2)切片.需要注意的是切片...
【Python——二进制与字符编码以及标识符、变量与数据类型】
qq_67308035的博客
07-18 964
二进制与字符编码以及标识符、变量与数据类型...
Python字符编码详解！
2301_78217634的博客
10-12 1136
ASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的字符，可以表示所有的英文字符和许多的控制符号。不过ASCII只用到了其中的一半（\x80以下），这也是MBCS得以实现的基础。
谈谈python字符编码问题
yrx0619的专栏
11-22 309
ascii编码 ASCII可以编码英文字符，0-9数字，以及一些可打印字符，不可打印字符等。 在那个时候，编写程序只使用这个编码就足够，一个字符通过写入后，在内存中保存为其对应的ASCII编号，当从内存中读出时，把对应的ASCII编号转换成对应的字符即可。 UNICODE编码 等到各个国家开始使用计算机后，就有一个问题，如何将本国文字也可以在计算中存储和显示？ ASCII由于最开始只用一个字节...
python中字符编码使用_字符编码及其在python中的使用
weixin_33462050的博客
03-02 485
什么是编码，为什么要统一编码，编码的历史所有的文件包括文字最终在计算机上的体现是一串二进制值的位(bit)。实际中，会使用特定的字节(byte)来表示每一种语言的任意字符，这就是编码！之前，每一套语言的编码都有独立的编码规则，但是当文件传输使用时，需要同步编码方式的信息，然后再去解码；如果一个文本中包括多种语言，则根本没办法解码。所以，业界统一使用了unicode编码系统。该系统为表达任意语言的任...
字符编码的常用种类介绍
qq_34745204的博客
11-06 4万+
字符编码的常用种类介绍 第一种：ASCII码 ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。如下图所示： 由于计算机是美国人发明的，因此，最早只有127个字母被编码...
python的编码表_python基础之集合，字符编码
weixin_39864682的博客
12-03 655
六、集合类型1.用途：关系运算2.定义方式：s = {1,2,’a’}{}内用，分隔开多个元素，每个元素都必须是不可变(即可hash)类型强调：2.1集合内的元素时无序的2.2集合内的元素不能重复2.3集合内元素必须不可变集合的目的是将值放在一起，无需纠结单个值单纯用集合去重，需要注意的问题：1.去重的目标所包含的值必须都要为不可变类型2.去重的结果会打乱原来的顺序3.常用的内置方法和操作①长度 ...
Python 编码格式深入学习
|~~~热爱生活、努力学习的小伙汁~~~|
02-27 404
在代码编写或者爬虫抓包的时候，经常出现编码的错误，如何避免呢？ 首先在 py 文件头部指定文件内容编码： 例如：如下三种方式都可以，建议使用第一种 # -- coding: utf-8 -- # -*- coding: utf-8 -*- # coding=utf-8 # vim: set fileencoding=utf-8: 文件保存的时候要和py文件头部编码一致 在用dec...
Python3_字符编码Encoding：ASCII，Unicode，UTF-8
热门推荐
wsl_cnxw的博客
08-26 4万+
Python 3的字符串str类型用Unicode，直接支持多语言。 当str和bytes互相转换时，需要指定编码。最常用的编码是UTF-8。Python当然也支持其他编码方式，比如把Unicode编码成GB2312： &gt;&gt;&gt; '中文'.encode('gb2312') b'\xd6\xd0\xce\xc4' 8 bite= 1 字节   因为计算机只能处理数字，如...
Python 常见字符编码介绍
xiaoyu_wu的博客
10-07 387
本文转载于https://www.cnblogs.com/schut/p/8406897.html 常见编码介绍一览表 编码 制定时间 作用 所占字节数 ASCII 1967年 表示英语及西欧语言 8bit/1bytes GB2312 1980年 国家简体中文字符集，兼容ASCII 2bytes Unicode 1991...
Python基础语法
人生需要曲折和转折
11-22 340
Python基础语法 学习一门编程语言，通常是学习该语言的以下几个部分的内容： 基础语法：如，变量的声明与调用、基本输出语句、代码块语法、注释等； 数据类型：通常都为 数字、字符串、布尔值、数组、链表、Map、Set等； 运算符：算术运算符、赋值运算符、比较运算符、逻辑运算符、位运算符等； 流程控制语句：分支语句、循环语句； 类的定义与使用：这个...
python的字符编码和文件编码
01-16
### Python 字符编码与文件编码 #### 设置字符编码 在Python中处理字符串时，默认情况下使用的是`Unicode`编码。当需要将这些字符串保存到文件或其他外部存储介质上时，通常要将其转换成特定的编码格式，比如UTF-8或GBK等[^1]。 对于想要指定编码方式的情况，在读取或写入文件时可以通过参数来设定所需的编码形式： ```python with open('example.txt', 'w', encoding='utf-8') as f: f.write("中文测试") # 这里会自动按照utf-8编码写出数据 ``` 上述代码展示了如何创建并打开一个名为`example.txt`的文本文件，并指定了其编码为`utf-8`；接着向该文件内写入了一条包含中文字符的信息。由于这里设定了正确的编码格式，因此能够确保所写的文字不会出现乱码现象[^2]。 #### 转换字符编码 如果已经有一个字符串对象而希望改变它的内部表示，则可以利用`.encode()`方法来进行编码操作，以及通过`.decode()`函数完成相反过程——即从字节数组恢复回原始字符串。需要注意的一点是，在执行这两个动作的时候应该保持一致性，也就是说解码时采用的方式应当匹配之前用于编码的那个模式，这样才能避免产生不可预见的结果如乱码等问题[^3]。 下面的例子说明了怎样把一个普通的字符串先转化为byte类型的变量再还原回来： ```python original_str = "你好世界" encoded_bytes = original_str.encode('gbk') decoded_str = encoded_bytes.decode('gbk') print(f"Original String: {original_str}") print(f"After Encoding and Decoding: {decoded_str}") ``` 这段程序首先定义了一个含有中文字符的字符串`original_str`，之后调用了`.encode('gbk')`命令把它变成了遵循GBK标准的bytes序列存放在`encoded_bytes`之中；最后又借助于`.decode('gbk')`实现了由bytes回到string的操作并将最终得到的新字符串赋给`decoded_str`以便打印出来验证整个流程是否成功[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值