一个小例子看懂python3 的unicode编码

最新推荐文章于 2025-04-27 20:18:42 发布

原创最新推荐文章于 2025-04-27 20:18:42 发布 · 2.3k 阅读

1 ·

CC 4.0 BY-SA版权

本文通过具体示例，展示了如何使用Python进行Unicode转义序列的解码和编码操作，揭示了文本在不同编码格式间转换的原理。

直接看例子

In [10]: b'\u559c\u6b22\u4e00\u4e2a\u4eba'
Out[10]: b'\\u559c\\u6b22\\u4e00\\u4e2a\\u4eba'

In [11]: b'\u559c\u6b22\u4e00\u4e2a\u4eba'.decode('unicode_escape')
Out[11]: '喜欢一个人'

In [12]: '喜欢一个人'.encode('unicode_escape')
Out[12]: b'\\u559c\\u6b22\\u4e00\\u4e2a\\u4eba'

In [13]: '喜欢一个人'.encode('unicode_escape')
Out[13]: b'\\u559c\\u6b22\\u4e00\\u4e2a\\u4eba'

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

duxin_csdn

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

python解码unicode_Python 解码 Unicode 转义字符串

weixin_39840616的博客

12-15

788

其实，这里要讨论的内容是针对 Python2 的，实际上也是 Python2 中让人头疼的编码问题，而 Python3 则好处理得多。先来看看例子：>>> s = "我正在学Python">>> s'\xe6\x88\x91\xe6\xad\xa3\xe5\x9c\xa8\xe5\xad\xa6Python'>>> s_u = u"我正在学Py...

python字符编码(一看就懂)

生产队的刘同学

08-12

2735

参与评论您还未登录，请先登录后发表或查看评论

python编码示例_Python中字符串与编码示例代码

weixin_30093045的博客

02-21

292

关于Python3爬虫抓取网页Unicode

weixin_30823001的博客

08-04

180

import urllib.requestresponse = urllib.request.urlopen('http://www.baidu.com')html = response.read()print(html) 上面的代码正常但是运行的时候结果遇到中文会以\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80代替，这是一种byte字节。 python3 输出位串，...

python实例手册.py

09-03

安装python2.7 wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz tar xvf Python-2.7.8.tgz cd Python-2.7.8 ./configure --prefix=/usr/local/python27 make make install mv /usr/bin/python /usr/bin/python_old ln -s /usr/local/python27/bin/python /usr/bin/ python # 查看版本解决YUM无法使用的问题 vim /usr/bin/yum 首行#!/usr/bin/python 替换为老版本python #!/usr/bin/python2.4 注意可能为2.6 pip模块安装 yum install python-pip # centos安装pip sudo apt-get install python-pip # ubuntu安装pip pip官方安装脚本 wget https://raw.github.com/pypa/pip/master/contrib/get-pip.py python get-pip.py pip编译安装 wget http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz tar zxvf setuptools-0.6c11.tar.gz cd setuptools-0.6c11 python setup.py build python setup.py install wget https://pypi.python.org/packages/source/p/pip/pip-1.5.6.tar.gz#md5=01026f87978932060cc86c1dc527903e tar zxvf pip-1.5.6.tar.gz cd pip-1.5.6 python setup.py build python setup.py install 加载环境变量 vim /etc/profile export PATH=/usr/local/python27/bin:$PATH . /etc/profile

python3字符串编码总结-str(unicode)_bytes

Setul

08-14

4万+

1. 字符串的编码形式字符串的编码最一开始是ascii，使用8位二进制表示，因为英文就是编码的全部。后来其他国家的语言加入进来，ascii就不够用了，所以一种万国码就出现了，它的名字就叫unicode，unicode编码对所有语言使用两个字节，部分汉语使用三个字节。但是这就导致一个问题，就是unicode不仅不兼容ascii编码，而且会造成空间的浪费，于是uft-8编码应运而生了，utf-8编

python字符编码

热门推荐

qq_32979147的博客

04-29

5万+

1、Unicode print('我喜欢你'.encode('unicode_escape')) 得到Unicode编码： b'\\u6211\\u559c\\u6b22\\u4f60 将上面的编码赋值给str后解码：复制代码 #Unicode s1='\\u6211\\u559c\\u6b22\\u4f60' #转为utf-8(明文) print(s1.encode('utf8').decode('unicode_escape')) #转为utf-8编码 print(s1.encode('

Python学习手册第37章Unicode和字节串解读部分一学习记录

landian004的专栏

04-21

1033

在ASCII，码点序数值和编码是一样的，但是前面说过对于utf-8这种变长字符编码，为了解码的考虑，字符不是按序数连续的（具体查utf-8的字符编排道理，本书里前面用一两句话也说了，就在本章），所以码点序数值和编码不同是显然的。】只不过有可能在文件中可以按指定的编码比如utf-8，gbk等存储，而在内存中（实际指python解释器解释后的运行时内存中）只以utf-8编码，因为py3的解释器就是utf-8编码（字符串按utf-8编码）。然后，将得到的Unicode字符串重新编码为UTF-8编码的字节串。

【Hard Python】【第五章-字符串】1、unicode，py3的字符串实现

HiKariのTechLab

05-08

610

python的字符串实质到底是什么类型的数据，这个可是困扰着很多编程者的话题。在python2我们已经被中文编码相关的问题折磨的不轻，那到了python3之后为什么又解决了这个问题呢？今天这篇文章就带大家详细剖析python3的字符串实现。我们首先看一段代码： def test_str_basic(): s = '123456789' print(type(s)) 这段代码打印了一个字符串对象的类型，其结果为<class 'str'>。str类型从哪里来？从C源码中我们可以搜

python 中的unicode详解

dianbiao4727的博客

11-14

1288

通过例子来看问题是比较容易懂的。首先来看,下面这个是我新建的一个txt文件，名字叫做ivan_utf8.txt，然后里面随便编辑了一些东西。然后来用控制台打开这个文件，同样也是截图：这里就是简单的打开文本，读取文本内容，打印出来看，我们看到print出来的是和我写进去的是一样的东西。然后呢，我在对这个内容使用decode(‘gbk’),就是解编...

python实现unicode转中文及转换默认编码的方法

09-21

主要介绍了python实现unicode转中文及转换默认编码的方法,结合实例形式分析了Python针对Unicode编码操作的相关技巧及编码转换中的常见问题解决方法,需要的朋友可以参考下

Unicode和Python的中文处理

09-21

在Python语言中，Uincode字符串处理一直是一个容易让人迷惑的问题。许多Python爱好者经常因为搞不清Unicode、UTF-8还有其它许许多多的编码之间的区别而大伤脑筋。本文将介绍Unicode和Python的中文处理的相关知识。下面跟着小编一起来看下吧

50个Python实用代码案例：拿来即用，效率翻倍！

最新发布

朱雀随云记的博客

04-27

1591

如今，开发节奏越来越快，"快、准、狠"已成为优秀程序员的标配。没有效率意识，很容易被淘汰。尤其是在初中级程序员圈子里，大家都在暗暗较劲，比拼谁能更快搞定任务，谁能更好复用代码。掌握一套实战代码案例库，已经成了新一代程序员的“隐性标配”。这50个Python代码小案例只是Python强大功能的冰山一角。希望这些“拿来即用”的代码片段能帮助您更高效地完成日常编程任务！50个Python代码案例是你开发路上的“瑞士军刀”，从批量处理到网络爬虫，覆盖了日常开发的方方面面。

在Python中正确使用Unicode

yixiaojiejie的专栏

01-22

1565

正确处理文本，特别是正确处理Unicode。是个老生常谈的问题，有时甚至会难倒经验丰富的开发者。并不是因为这个问题很难，而是因为对软件中的文本，开发者没有正确理解一些关键概念及其表示方法。在StackOverflow上搜索关于UnicodeDecodeError相关的问题，可以看到很多人都有这样的误解。这些错误的概念可以追溯到Unicode出现之前。那时许多现今的开发者还没入职，也包括我自己。如果

python3 unicode_python3从零学习-5.1.6 、Unicode字符数据库

weixin_39713538的博客

11-23

328

这个模块提供了对Unicode字符数据库(UCD)的访问，它定义了所有Unicode字符的字符属性。这个数据库中包含的数据是从UCD版本9.0.0中编译的。该模块使用统一码标准附件#44“统一码字符数据库”中定义的相同名称和符号。它定义了以下功能:unicodedata.lookup(name)按名称查找字符。如果找到具有给定名称的字符，则返回相应的字符。如果没有找到，则 KeyError 被引...

python3 unicode列表转换为中文

诺坎普奇迹的博客

02-08

2万+

查了很多很多的资料无果，果然知乎牛逼，链接，完美解决。爬取网站时，最终得到list内容，编码为unicode，想让其转换为汉字并输出。需要提取的为下图中unicode部分：保存为列表，然后使用for循环： text为获取的网页。pat = '"group": {"text": "(.*?)"' text_list = re.compile(pat).findall(text) fo

unicode 在python3中的编码问题

Coltea的博客

03-10

4907

unicode 在python3中u/U:表示unicode字符串 example：u"string"不是仅仅是针对中文, 可以针对任何的字符串，代表是对字符串进行unicode编码。一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u；但是中文, 必须表明所需编码, 则一旦编码转换就会出现乱码。建议所有编码方式采用utf8r/R:非转义的原始字符串与普通字符相比，其他相对...

C++宽字符类型wchar_t

Wanggj的博客

09-20

1万+

C++宽字符类型wchar_t 传统的字符数据类型为char,占用一个字节,存放的数据内容为ASCII编码,最多可以存放255种字符,基本的英文以及常用字符都可以涵盖随着计算机在国际范围内普及,大量使用其它语言的计算机用户也纷纷出现,传统的ASCII编码已经无法满足人们的使用,因此一种新的字符存放类型wchar_t应运而生 wchar_t为宽字符类型或双字符类型,它占用两个字节,因此能够存放更多的字符 wchar_t的使用实例如下所示: #include <iostream> using na

Python3中不关闭文件改变Unicode编码的技巧

Python 3默认支持Unicode，但有时我们可能需要在文件已经打开的情况下改变或添加其编码方式。在这种情况下，可以使用内置的`io`模块中的`TextIOWrapper`类来实现。 `io.TextIOWrapper`是一个用于将底层的二进制流...