用Python爬虫过程中,尤其是爬取国外网站时候会发现出现一些\u00e9,\u00e8这种
查看原网页发现是一些法文,如é,à,ù等
其实都是不同编码包含内容不同的问题
一般我们用Python存储数据到文件时候是先编码为其他的编码集,比如gbk,或者常用的utf-8
在这儿我们需要的是它原始信息,所以需要数据原始信息,这儿就要提到unicode-escape编码集
unicode-escape编码集是将unicode通过内存编码值直接存储,这正是我们所需要的
所以只要对网页内容通过unicode-escape直接decode就可以了,不过需要注意的是这时候数据类型是Unicode类型的
这时候内容就会变成法语音标的信息了
如果还想把法语改为utf-8的网页内容就继续往下看吧~
直接上图:
记得先引用unicod