python 解析unicode编码的字符串

本文介绍在Python中处理Unicode编码的方法,包括使用eval函数处理不含引号及含引号的字符串,以及如何处理JSON格式中的Unicode编码。同时指出Python JSON库在解析时的特点,并给出保留Unicode编码的具体操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用python抓取页面或者web端的json时候很容易抓到一些unicode编码的字符串流。在python里边对Unicode编码的处理成了一件头疼的事。

对于string里边不含“ 引号的处理比较简单,使用eval注明引入str是unicode编码:

str1 = eval("u"+"\""+str + "\"")

str1.decode('utf8')

对于包含引号的明文,需要先把引号转化为 \",然后可以进行eval函数处理。

str=str.replace("\\\"","\\\\\"") #先转化字符串中的\"
str=str.replace("\"","\\\"")     #再转化 "

print eval("u"+"\""+str+"\"")

对于json格式unicode的有个很奇怪的处理

python 的json 库在使用 json.loads()函数时候会默认把输入中unicode编码解析好,而不是保留原输入。

代码:

str1="{\"html\":\"\u003c\u003e\"}"
s=json.loads(str1)
print s["html"]
输出:<>

输出<>而不是 \u003c 这也引出了一个问题:python的json库解析json不完全保留原格式,使用时候要注意。

如果想要json解析保持unicode编码比较麻烦,需要将unicode码的\改为\\,转译代码如下:

str="{\"html\":\"\u003c\"}"
s=str.replace("\\u","\\\\u")
s2=json.loads(s)
print s2["html"]
输出: \u003c




转载于:https://my.oschina.net/lemonfight/blog/666923

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值