python爬虫网页乱码问题ISO-8859-1和Utf-8

最新推荐文章于 2025-04-24 16:31:59 发布
最新推荐文章于 2025-04-24 16:31:59 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Al_shawn/article/details/103618941
博主在使用Python的requests库爬取苹果日报新闻时，解析到的网页出现乱码。通过使用title_content.encode('ISO - 8859 - 1').decode('utf - 8')解决了问题，使繁体中文能正常显示，但还未弄懂原理，后续打算研究编码问题，并给出了相关参考链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

爬苹果日报新闻时用requests解析到的网页是乱码

用了下面这个就解决了

title_content.encode('ISO-8859-1').decode('utf-8')

繁体中文可以正常显示了，但是还没搞懂为什么

之后记得研究一下

参考下面几篇有点略懂但还不是很清晰，之后得好好研究一下编码问题

https://www.jianshu.com/p/e487e89c2a4e

https://blog.youkuaiyun.com/u012272186/article/details/78433550

http://www.langzi.fun/Python%E5%AD%97%E7%AC%A6%E9%9B%86%E7%BC%96%E7%A0%81.html

python中把ISO-8859-1编码转化为UTF-8
FM黎明之前的博客
08-27 5926
ISO-8859-1转换 UTF-8 应用场景： 这几天在做微信OAuth2.0授权登录，遇到的问题。 爬取一些数据的时候一定也会遇到这样的问题。 这里我拿微信返回用户个人信息来举例： {'openid': 'oGl2QwQ07wZRyJVu0t57y1CaVlg4', 'nickname': 'é\x98³å\x85\x89ç\x94·å\xad©', 'sex': 1, 'language': 'zh_CN', 'city': 'æ\x9c\x9dé\x98³', 'province': 'å\x8
Python 处理GBK编码转UTF-8读写乱码问题
xfyangle的博客
03-09 3万+
今日写了个爬虫，爬取前程无忧的招聘信息 老套路，首先获取网页源代码 #-*- coding:utf-8 -*- import requests url = 'http://search.51job.com/jobsearch/search_result.php?' page_req = requests.get(url) page = page_req.text.encode('utf-8
python3 爬虫出现 ISO-8859-1 乱码问题，字符：è§�æ½®å¥�宸åº�1ã��2ã��9ã��10ã��13å�·æ¥¼
热门推荐
qq_40205002的博客
04-19 6万+
爬一个网站时出现了乱码 è§�æ½®å¥�宸åº�1ã��2ã��9ã��10ã��13å�·æ¥¼ html = requests.get(url=start_urls, headers=headers).text html = html.encode("ISO-8859-1") html = html.decode("utf-8") response = et...
全面掌握编码转换：GBK/GB2312/ISO-8859-1至UTF-8批量处理
最新发布
weixin_42160645的博客
04-24 1063
GBK和GB2312编码标准是针对中文字符设计的，它们在中国大陆的计算机系统中被广泛使用。要想了解这些编码标准的重要性，我们首先需要探索它们的起源和特点。ISO-8859-1编码标准，俗称Latin-1，是国际标准化组织（ISO）于1987年发布的一系列标准之一。该标准旨在覆盖西欧语言中使用的拉丁字母字符集。由于ISO-8859-1仅需一个字节就可以表示全部字符集，这让它在计算机技术刚起步的年代受到了广泛欢迎。
Python爬虫获取网页编码为“ISO-8859-1”，中文乱码
miss_ok的博客
07-28 3307
问题：要爬取的网页编码为‘ISO-8859-1’，查看的时候中文不显示，出现乱码。 解决办法： r.encoding = r.apparent_encoding r.text[:1000] 可以解决中文乱码问题。
python爬虫遇到中文乱码问题(ISO-8859-1)
Enexj的博客
12-08 5486
python爬虫遇到中文乱码(ISO-8859-1) 直接入正题，今天爬虫遇到中文乱码问题，具体大概如下： ÕбêÈË»òÆäÕбê´úÀí»ú¹¹Ó¦µ±¶ÔÆäÌṩµÄÕб깫¸æµÄÕæʵÐÔ¡¢×¼È·ÐÔ¡¢ºÏ·¨ÐÔ¸ºÔð¡£（这种的字符） 找问题所在，首先查看response的编码问题 response = request.get(url,headers) print(response.encoding) 输出内容： 这就好办了，直接编码解码(使用utf
Python 爬虫数据乱码解决方式
weixin_48826751的博客
03-10 7110
数据乱码大多来自于编码格式不支持中文显示，解决方式主要有如下两个： 1.设置对响应对象的编码格式 2.设置爬取到的数据编码格式及解码格式
Python爬虫解决乱码问题
liuzh的博客
06-04 4799
问题原因： 爬取的所有网页无论何种编码格式，都转化为utf-8格式进行存储，与源代码编码格式不同所以出现乱码。 目前大部分都是utf-8格式或者ISO-8859-1，一部分是gbk格式（会出现乱码），国内网页还没有看到别的编码格式，欢迎补充指正！ 简单科普一下：　　 UTF-8通用性比较好，是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。 U...
Python爬虫基于lxml解决数据编码乱码问题
12-17
如果遇到CSV文件写入乱码，可以使用`utf-8-sig`编码格式，它会在文件开头添加UTF-8的BOM标志，以便Excel等工具正确识别。 总之，理解和处理编码问题对于编写Python爬虫至关重要，尤其是在使用lxml和XPath进行数据...
python iso88591转utf8_某些字符的正则表达式冲突（ISO88591 Windows1252）
weixin_30765637的博客
01-15 304
好的，当您使用Python2版本时，您将文件作为字节字符串读取，您的代码应该成功地转换µ(U+00B5)或{}(U+00B1)的所有utf-8编码版本。在这与你后来所说的一致：my current code only catches the incorrect version, letting the correct one pass through事实上，这是完全正确的。让我们先看看µ到底发生了...
乱码 编码方式解决 gbk ISO8859-1 utf8 编码
05-24
乱码 编码方式解决 gbk ISO8859-1 utf8 编码 乱码 编码方式解决 gbk ISO8859-1 utf8 编码
python iso88591转utf8_python如何正确编码utf8中的字符串，它是xm的ISO88591
weixin_29827071的博客
01-15 617
我使用Python2.7中的以下代码来检索一个包含德语变音符号的xml文件，比如ä，ü，ß：.....def getXML(self,url):xmlFile=urllib2.urlopen(self.url)xmlResponse=xmlFile.read()xmlResponse=xmlResponsexmlFile.close()return xmlResponsepassdef makeD...
python 中文iso8859-1编码转utf8编码
weixin_44100581的博客
03-28 4447
python 中文iso8859-1编码转utf8编码 在项目中使用wget 进行ftp下载文件时，由于ftp下载默认的是ascii模式，下载的文件编码是iso8859-1。 在python3中直接使用open函数的话，需要设置编码，不然会报错。 open("08M0063639_20170710.txt","r",encoding='iso8859-1') 这样做，假如文本是数字或者字母的时候，没有什么影响。但文本是中文的时候，获取的数据是iso8859-1编码的，进行数据操作时会出现乱码。 所以要将
Python的编码机制，unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等编码之间的转换。
zbyufei的测试专栏
09-01 1万+
1.unicode 缺失转换 如把 "/u5317/u4eac"转化成 gb18030的北京 s="/u5317/u4eac" s=eval("u'%s'"% s) s.encode('gb18030') print s 2.unicode 转换为其它编码(GBK, GB2312等) # -*- coding=gb2312 -*- a=u"中文" a_gb2312
python3 读文件 编码_Pyhton3下的ISO8859-1编码文件的读取
weixin_39864571的博客
02-09 1443
在学习tkinter库时，自己码了一个简单的文件搜索GUI。具体功能是输入关键字、文件类型和所要搜索的文件夹路径，按下搜索按钮能将相关的文件的绝对路径添加到列表上，双击列表所选项能够打开一个包含文件内容的可编辑窗口。文件搜索GUI在测试GUI时，发现某些文本文件无法读取，出现报错。具体为：当执行到如下语句时f = open('/Users/gy/Desktop/自动化1404荣誉称号.txt','...
python解决中文乱码的方法
qq_36606793的博客
01-20 441
手动将response设置为utf-8编码 response=requests.get(url) response.encoding='utf-8' page_text=response.text 将字符串先进行iso-8859-1编码，再进行gbk解码 str=str.encode('iso-8859-1').decode('gbk') str=str.encode("gbk", 'ignore').decode("gbk", "ignore") ...
python学习笔记（9）——数据乱码的处理之重新编码和解码
Ama_tor的博客
02-03 1508
代码练习： import requests url='https://www.baidu.com' code=requests.get(url).encoding#获取网页源代码的编码方式为ISO-8859-1 res=requests.get(url).text #print(code):此时可以先运行，得出通过python获得网页源码的编码方式为：ISO-8859-1 print('直接获取：'+res) try:#以下为通用代码，不够简介 res=res.encode('ISO-8859
python爬虫出现乱码1Ü
08-21
Python爬虫中遇到乱码，如"1Ü"这样的情况，通常是编码问题导致的。UTF-8是一种常见的字符集，如果网页内容不是用UTF-8编码，而你的程序默认解析为UTF-8，就可能导致乱码。解决步骤如下： 1. **检查响应头**：查看HTTP响应头中`Content-Type`字段，确认数据的编码格式是否是UTF-8。 2. **设置正确的编码**：在读取网页内容时，可以指定正确的编码，例如： ```python response = requests.get(url) content = response.content.decode(response.encoding) # 确定正确的encoding，如'gbk'、'iso8859-1'等 ``` 3. **手动解码**：如果不确定原始编码，可以用尝试多种编码解码，直到找到正确的格式： ```python for encoding in ['utf-8', 'gbk', 'big5', 'iso-8859-1']: try: content = response.content.decode(encoding) break except UnicodeDecodeError: pass ``` 4. **异常处理**：为了防止因编码错误引发程序中断，可以在可能出现问题的地方添加异常处理。 如果以上方法都试过还是不行，可能需要联系网站管理员确认他们使用的字符集，并相应调整你的代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值