Python字符集

Python字符集与西文字符识别
最新推荐文章于 2020-06-11 00:37:28 发布
最新推荐文章于 2020-06-11 00:37:28 发布
阅读量826 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python快速学习实战应用系列课程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/25382461
这篇博客探讨了如何使用Python的str()函数在中文字符串中识别和处理西文字符，通过两个推荐阅读深入理解Python的字符集特点。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python文件处理中的字符编码及字符集
持续更新
06-14 825
UTF-8字符集是基于Unicode编码实现的兼容ASCII编码的变长字符编码，它可以表示全球所有语言的字符。这样可以确保文件读写时的字符编码和字符集与文件本身的编码和字符集一致，避免出现乱码等问题。UTF-8编码是一种变长编码，它可以使用1至4个字节来表示一个字符，可以表示Unicode中所有的字符。Python文件处理中的字符编码和字符集是非常重要的概念，它们会直接影响到文件的读写和处理。在进行文件处理时，应该尽可能地选择与文件本身一致的字符编码和字符集，以确保文件的正确性。
Python从0到50(二十四)：字符和字符集基础知识及应用
06-08 752
字符和字符集基础知识及应用
字符集、编码和Python
诣
07-23 871
1）字符集、编码和中文字符集字符集的意思是指二进制编码（比如：DE 8F 1A 90）对应什么字符（比如：连通）。而编码方式是指二进制编码如何在计算机上存储。比如：UTF-16是用两个字节来存储一个unicode编码（DE 8F 1A 90）；UTF-8使用1-3个字节来存储一个unicode编码（E8 BF 9E E9 80 9A ）。unicode如果理解成字符集，则是指它用来表示世界
Python 字符集
weixin_30488085的博客
05-13 328
什么是字符? 1.在Python中,字符串中的内容都是字符. 2.什么是字符编码(encode)和字符集(charset)? 计算机只能识别数值,而字符不能识别,为了让计算机能处理字符,必须将字符和数值产生一个映射关系.(即:给某个字符指定一个数值,计算机就用这个数值表示这个字符了.)这个映射关系,称为字符集. 例如: ASCII字符集,gbk字符集,Shift_JIS字符集. 这些字符集通常不...
python中的字符集
娜然的专栏
08-24 677
如果有中文，并且是utf8的中文 [root@mysql1 pshell]# cat ex1.py  #!/usr/bin/env Python print "高" #print "hello world!" print "hello again" print "i like typing this." print "this is fun." print 'yay
python 字符集
weixin_44500833的博客
06-11 396
字符集编码&解码 for i in ['replace','ignore','backslashreplace']: print("AaBbCc你好，世界！".encode('utf-8').decode('ascii',errors=i)) 执行结果： AaBbCc������������������ AaBbCc AaBbCc\xe4\xbd\xa0\xe5\xa5\xbd\...
PYTHON 中的字符集
weixin_34279184的博客
03-05 243
一、前言 Python中的字符编码是个老生常谈的话题，今天来梳理一下相关知识，希望给其他人些许帮助。 Python2的默认编码是ASCII，不能识别中文字符，需要显式指定字符编码；Python3的默认编码为Unicode，可以识别中文字符。 相信大家在很多文章中都看到过类似上面这样“对Python中中文处理”的解释，也相信大家在最初看到这样的解释的时候确实觉得...
python字符集生成字符画实例
NaNa
03-12 1425
1 from wordcloud import WordCloud, ImageColorGenerator import matplotlib.pyplot as plt import jieba # 文本路径 path_txt = './info.txt' # 打开文本并读取 f = open(path_txt, 'r', encoding='utf-8').read() # 分词操作 ...
Python编码及字符集示范代码
09-27
包含简单的Python编码（UTF-8、GB2312和GB18030）的示范代码，同时附带汉字编码的部分资料。初学者在使用Python进行中文输出时可能会遇到乱码问题，这是由于中文有国标和Unicode编码2种形式，此外，代码文件编码格式...
python字符集编码
机器学习菜鸟
05-10 2285
为了保证python读取的不出现乱码，一般在文件的前两行添加两行注释 #!/usr/bin/env python3 # -*- coding: utf-8 -*- 第一行注释是告诉linux系统，windows系统会忽略该行注释 第二行注释是告诉python解释器按照UTF-8编码读取源码，否则可能会出现乱码 另外如果添加了注释，还出现乱码，可能是由于保存的时候，应该选取以UTF-8无BOM...
python3中字符集的介绍和使用
qq_42690811的博客
06-05 1167
字符: 就是各种文字和符号的总称，包括国家文字、标点符号、图形符号、数字等 字符集: 就是多个字符的集合，比如熟知的ASCII字符集，很类似字典，一个键对应一个值 列出常见的几个字符集 ASCII字符集：占用1个字节，只支持英文和一些符号 GB2312字符集：占用2个字节，包含汉字6763个和非汉字图形字符682个 GBK字符集(常用)：占用2个字节，包含21886个汉字和图形符号 GB180...
Python常用字符编码
weixin_30275415的博客
02-02 260
字符编码的常用种类介绍 　　第一种：ASCII码 　　　　ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。如下图所示： 　　由于计算机是美国人发明的，因此...
Python字符编码详解
weixin_30432007的博客
12-05 234
本文简单介绍了各种常用的字符编码的特点，并介绍了在python2.x中如何与编码问题作战 ：） 请注意本文关于Python的内容仅适用于2.x，3.x中str和unicode有翻天覆地的变化，请查阅其他相关文档。 尊重作者的劳动，转载请注明作者及原文地址 >.< 1. 字符编码简介 1.1. ASCII ASCII(American Standar...
python字符串编码及乱码解决方案
热门推荐
皮皮blog
03-08 5万+
http://blog.youkuaiyun.com/pipisorry/article/details/44136297 字符编码详解 [字符编码ASCII，Unicode和UTF-8] 主要非英文字符集的编码范围 范围 编码 说明 2E80~33FFh 中日韩符号区 收容康熙字典部首、中日韩辅助部首、注音符号、日本假名、韩文音符， 中日韩的符号、标点、带...
Python中的str与unicode处理方法
wjy397的专栏
12-10 1133
http://python.jobbole.com/81244/ python2.x中处理中文，是一件头疼的事情。网上写这方面的文章，测次不齐，而且都会有点错误，所以在这里打算自己总结一篇文章。 我也会在以后学习中，不断的修改此篇博客。 这里假设读者已有与编码相关的基础知识,本文不再再次介绍，包括什么是utf-8，什么是unicode，它们之间有什么关系。 str与字节
彻底搞懂Python的字符编码
求人不如求己，思考才能进步！
12-26 3万+
前言：中文编码问题一直是程序员头疼的问题，而Python2中的字符编码足矣令新手抓狂。本文将尽量用通俗的语言带大家彻底的了解字符编码以及Python2和3中的各种编码问题。一、什么是字符编码。要彻底解决字符编码的问题就不能不去了解到底什么是字符编码。计算机从本质上来说只认识二进制中的0和1，可以说任何数据在计算机中实际的物理表现形式也就是0和1，如果你将硬盘拆开，你是看不到所谓的数字0和1的，你能看
Python编码解码---字符集/base64
qq_41123867的博客
04-13 1695
1.字符集编码转换：utf-8/gbk等 编码—转换结果为二进制的字节码 str.encode('编码类型') 解码—将二进制的字节码转换为原数据 str.decode('解码类型') 注： python3中字符串默认使用utf-8字符集，若不指定编解码类型，将默认使用utf-8 2.base64编解码： python中base64模块不能直接对字符串编码，由于base64是来自于字符集转换后...
Python基础语法
人生需要曲折和转折
11-22 347
Python基础语法 学习一门编程语言，通常是学习该语言的以下几个部分的内容： 基础语法：如，变量的声明与调用、基本输出语句、代码块语法、注释等； 数据类型：通常都为 数字、字符串、布尔值、数组、链表、Map、Set等； 运算符：算术运算符、赋值运算符、比较运算符、逻辑运算符、位运算符等； 流程控制语句：分支语句、循环语句； 类的定义与使用：这个...
python:麻烦的字符集问题，一不小心就中文乱码
weixin_42480489的博客
10-22 1679
环境：ubantu,mysql5.7,python3.6 在涉及中文，python编程时应知应会以下知识: 1.字符集常识 1.1 概念 字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。字符集(Character set)是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：ASCII字符集、GB2312字符集、Unic...
PYTHON 字符集转为 UTF-8
最新发布
07-20
在 Python 中将字符集转换为 UTF-8 编码是一个常见需求，特别是在处理非 UTF-8 编码的文件、网络请求或数据流时。Python 提供了多种方式来确保字符串以 UTF-8 编码形式处理或输出。 ### 字符串编码与解码 Python 中的字符串类型 `str` 是 Unicode 字符串（UTF-16 或 UTF-32，具体取决于 Python 构建版本），而字节类型 `bytes` 是原始字节序列。因此，将字符串转换为 UTF-8 编码的过程是将 `str` 类型编码为 `bytes` 类型。 ```python text = "你好，世界" utf8_bytes = text.encode('utf-8') print(utf8_bytes) # 输出: b'\xe4\xbd\xa0\xe5\xa5\xbd\xef\xbc\x8c\xe4\xb8\x96\xe7\x95\x8c' ``` 如果原始数据是以其他编码格式存储的字节（如 `gbk`、`latin-1` 等），则需要先解码为 Unicode 字符串，再重新编码为 UTF-8： ```python original_bytes = b'\xc4\xe3\xba\xc3' # GBK 编码的 "你好" text = original_bytes.decode('gbk') # 解码为 Unicode utf8_bytes = text.encode('utf-8') # 编码为 UTF-8 print(utf8_bytes) # 输出: b'\xe4\xbd\xa0\xe5\xa5\xbd' ``` ### 文件读写中的 UTF-8 编码 在处理文件时，建议在打开文件时直接指定编码为 UTF-8，以确保读取和写入的内容均为 UTF-8 编码： ```python with open('example.txt', 'r', encoding='utf-8') as f: content = f.read() print(content) with open('output.txt', 'w', encoding='utf-8') as f: f.write("你好，UTF-8") ``` 若文件原始编码不是 UTF-8，则需在读取时指定正确的编码格式，再通过 `encode` 和 `decode` 方法转换为 UTF-8。 ### 控制台输出与编码设置 在某些系统（尤其是 Windows）中，控制台默认使用的编码可能不是 UTF-8，这会导致打印 Unicode 字符时出现乱码。可以通过以下方式确保输出使用 UTF-8 编码： - 设置环境变量 `PYTHONIOENCODING="utf-8"`，强制 Python 使用 UTF-8 进行标准输入/输出。 - 使用 `io.TextIOWrapper` 包装 `sys.stdout` 以指定编码： ```python import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8') print("你好，世界") ``` ### 网络请求与 UTF-8 编码 在处理 HTTP 请求或响应时，通常需要确保内容以 UTF-8 编码传输： ```python import requests response = requests.get('https://example.com') response.encoding = 'utf-8' # 显式指定编码为 UTF-8 print(response.text) ``` 在发送 POST 请求时，若数据为 Unicode 字符串，`requests` 库会自动将其编码为 UTF-8： ```python data = {"text": "你好，世界"} response = requests.post('https://example.com/api', data=data) ``` ### 数据库交互中的 UTF-8 编码 在与数据库交互时，建议在连接参数中指定字符集为 UTF-8。例如，使用 `pymysql` 连接 MySQL 数据库： ```python import pymysql conn = pymysql.connect( host='localhost', user='root', password='password', database='test', charset='utf8mb4' ) ``` 使用 `utf8mb4` 而非 `utf8` 可确保支持完整的 Unicode 字符集（包括表情符号）。 ### 总结 Python 提供了丰富的工具来处理字符编码转换，尤其是 UTF-8。无论是字符串处理、文件操作、网络通信还是数据库交互，都应明确指定编码方式以避免乱码问题。UTF-8 几乎成为现代应用的标准编码方式，其兼容性和效率使其成为首选[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值