python爬虫网页乱码问题ISO-8859-1和Utf-8

Python爬取网页解决乱码问题
最新推荐文章于 2023-11-22 10:24:14 发布
原创 最新推荐文章于 2023-11-22 10:24:14 发布 · 1.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博主在使用Python的requests库爬取苹果日报新闻时，解析到的网页出现乱码。通过使用title_content.encode('ISO - 8859 - 1').decode('utf - 8')解决了问题，使繁体中文能正常显示，但还未弄懂原理，后续打算研究编码问题，并给出了相关参考链接。

爬苹果日报新闻时用requests解析到的网页是乱码

用了下面这个就解决了

title_content.encode('ISO-8859-1').decode('utf-8')

繁体中文可以正常显示了，但是还没搞懂为什么

之后记得研究一下

参考下面几篇有点略懂但还不是很清晰，之后得好好研究一下编码问题

https://www.jianshu.com/p/e487e89c2a4e

https://blog.youkuaiyun.com/u012272186/article/details/78433550

http://www.langzi.fun/Python%E5%AD%97%E7%AC%A6%E9%9B%86%E7%BC%96%E7%A0%81.html

Python 处理GBK编码转UTF-8读写乱码问题
xfyangle的博客
03-09 3万+
今日写了个爬虫，爬取前程无忧的招聘信息 老套路，首先获取网页源代码 #-*- coding:utf-8 -*- import requests url = 'http://search.51job.com/jobsearch/search_result.php?' page_req = requests.get(url) page = page_req.text.encode('utf-8
Python爬虫解决乱码问题
liuzh的博客
06-04 4839
问题原因： 爬取的所有网页无论何种编码格式，都转化为utf-8格式进行存储，与源代码编码格式不同所以出现乱码。 目前大部分都是utf-8格式或者ISO-8859-1，一部分是gbk格式（会出现乱码），国内网页还没有看到别的编码格式，欢迎补充指正！ 简单科普一下：　　 UTF-8通用性比较好，是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。 U...
python3 爬虫出现 ISO-8859-1 乱码问题，字符：è§�æ½®å¥�宸åº�1ã��2ã��9ã��10ã��13å�·æ¥¼
热门推荐
qq_40205002的博客
04-19 6万+
爬一个网站时出现了乱码 è§�æ½®å¥�宸åº�1ã��2ã��9ã��10ã��13å�·æ¥¼ html = requests.get(url=start_urls, headers=headers).text html = html.encode("ISO-8859-1") html = html.decode("utf-8") response = et...
Python爬虫获取网页编码为“ISO-8859-1”，中文乱码
miss_ok的博客
07-28 3335
问题：要爬取的网页编码为‘ISO-8859-1’，查看的时候中文不显示，出现乱码。 解决办法： r.encoding = r.apparent_encoding r.text[:1000] 可以解决中文乱码问题。
盘点3种Python爬虫中文乱码的处理方法
qq_41314882的博客
11-22 3344
本文针对Python网络爬虫过程中的中文乱码问题，给出了3种乱码解决方法，顺利解决了问题。你还知道有哪些乱码的情况和处理方法，欢迎在评论区中留言。感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。一、Python所有方向的学习路线Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。二、Python必备开发工具工具都帮大家整理好了，安装就可直接上手！三、最新Python学习笔记。
python爬虫遇到中文乱码问题(ISO-8859-1)
Enexj的博客
12-08 5549
python爬虫遇到中文乱码(ISO-8859-1) 直接入正题，今天爬虫遇到中文乱码问题，具体大概如下： ÕбêÈË»òÆäÕбê´úÀí»ú¹¹Ó¦µ±¶ÔÆäÌṩµÄÕб깫¸æµÄÕæʵÐÔ¡¢×¼È·ÐÔ¡¢ºÏ·¨ÐÔ¸ºÔð¡£（这种的字符） 找问题所在，首先查看response的编码问题 response = request.get(url,headers) print(response.encoding) 输出内容： 这就好办了，直接编码解码(使用utf
Python爬虫基于lxml解决数据编码乱码问题
12-17
如果遇到CSV文件写入乱码，可以使用`utf-8-sig`编码格式，它会在文件开头添加UTF-8的BOM标志，以便Excel等工具正确识别。 总之，理解和处理编码问题对于编写Python爬虫至关重要，尤其是在使用lxml和XPath进行数据...
Python爬虫实例（1）--requests的应用
qq_34786604的博客
08-28 841
Python爬虫实战 第一个爬虫程序 requests库 爬虫返回值乱码
python中把ISO-8859-1编码转化为UTF-8
FM黎明之前的博客
08-27 5991
ISO-8859-1转换 UTF-8 应用场景： 这几天在做微信OAuth2.0授权登录，遇到的问题。 爬取一些数据的时候一定也会遇到这样的问题。 这里我拿微信返回用户个人信息来举例： {'openid': 'oGl2QwQ07wZRyJVu0t57y1CaVlg4', 'nickname': 'é\x98³å\x85\x89ç\x94·å\xad©', 'sex': 1, 'language': 'zh_CN', 'city': 'æ\x9c\x9dé\x98³', 'province': 'å\x8
乱码 编码方式解决 gbk ISO8859-1 utf8 编码
05-24
乱码 编码方式解决 gbk ISO8859-1 utf8 编码 乱码 编码方式解决 gbk ISO8859-1 utf8 编码
python iso88591转utf8_某些字符的正则表达式冲突（ISO88591 Windows1252）
weixin_30765637的博客
01-15 322
好的，当您使用Python2版本时，您将文件作为字节字符串读取，您的代码应该成功地转换µ(U+00B5)或{}(U+00B1)的所有utf-8编码版本。在这与你后来所说的一致：my current code only catches the incorrect version, letting the correct one pass through事实上，这是完全正确的。让我们先看看µ到底发生了...
python iso88591转utf8_python如何正确编码utf8中的字符串，它是xm的ISO88591
weixin_29827071的博客
01-15 633
我使用Python2.7中的以下代码来检索一个包含德语变音符号的xml文件，比如ä，ü，ß：.....def getXML(self,url):xmlFile=urllib2.urlopen(self.url)xmlResponse=xmlFile.read()xmlResponse=xmlResponsexmlFile.close()return xmlResponsepassdef makeD...
python 中文iso8859-1编码转utf8编码
weixin_44100581的博客
03-28 4488
python 中文iso8859-1编码转utf8编码 在项目中使用wget 进行ftp下载文件时，由于ftp下载默认的是ascii模式，下载的文件编码是iso8859-1。 在python3中直接使用open函数的话，需要设置编码，不然会报错。 open("08M0063639_20170710.txt","r",encoding='iso8859-1') 这样做，假如文本是数字或者字母的时候，没有什么影响。但文本是中文的时候，获取的数据是iso8859-1编码的，进行数据操作时会出现乱码。 所以要将
Python的编码机制，unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等编码之间的转换。
zbyufei的测试专栏
09-01 1万+
1.unicode 缺失转换 如把 "/u5317/u4eac"转化成 gb18030的北京 s="/u5317/u4eac" s=eval("u'%s'"% s) s.encode('gb18030') print s 2.unicode 转换为其它编码(GBK, GB2312等) # -*- coding=gb2312 -*- a=u"中文" a_gb2312
python3 读文件 编码_Pyhton3下的ISO8859-1编码文件的读取
weixin_39864571的博客
02-09 1471
在学习tkinter库时，自己码了一个简单的文件搜索GUI。具体功能是输入关键字、文件类型和所要搜索的文件夹路径，按下搜索按钮能将相关的文件的绝对路径添加到列表上，双击列表所选项能够打开一个包含文件内容的可编辑窗口。文件搜索GUI在测试GUI时，发现某些文本文件无法读取，出现报错。具体为：当执行到如下语句时f = open('/Users/gy/Desktop/自动化1404荣誉称号.txt','...
python解决中文乱码的方法
qq_36606793的博客
01-20 467
手动将response设置为utf-8编码 response=requests.get(url) response.encoding='utf-8' page_text=response.text 将字符串先进行iso-8859-1编码，再进行gbk解码 str=str.encode('iso-8859-1').decode('gbk') str=str.encode("gbk", 'ignore').decode("gbk", "ignore") ...
python学习笔记（9）——数据乱码的处理之重新编码和解码
Ama_tor的博客
02-03 1531
代码练习： import requests url='https://www.baidu.com' code=requests.get(url).encoding#获取网页源代码的编码方式为ISO-8859-1 res=requests.get(url).text #print(code):此时可以先运行，得出通过python获得网页源码的编码方式为：ISO-8859-1 print('直接获取：'+res) try:#以下为通用代码，不够简介 res=res.encode('ISO-8859
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值