python爬取网页写入文件报错“gbk”的处理

最新推荐文章于 2023-05-29 05:09:11 发布
原创 最新推荐文章于 2023-05-29 05:09:11 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了在使用requests库抓取网页内容并写入文件时遇到的编码问题。通过在fopen中添加`encoding='utf-8'`参数，成功解决了UnicodeEncodeError，将原本的GBK编码转换为UTF-8，确保了数据的正确写入和避免了字符乱码。
部署运行你感兴趣的模型镜像

解决方法：fopen中加入“encoding=“utf-8””
res=requests.get(url,headers=headers)
with open(‘1.html’,‘w’) as f:
f.write(res.text)

执行上面的代码报错

f.write(res.text)
UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa9’ in position 51061: illegal multibyte sequence

res=requests.get(url,headers=headers)
with open(‘1.html’,‘w’,encoding=“utf-8”) as f:
f.write(res.text)
上面的代码正确执行

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

haodawei123
关注
【Python】获取网页源码进行解码过程中，遇到“gbk”编码的问题
Meggie35的博客
08-15 878
获取网页源码进行解码过程中，遇到“gbk”编码的问题，以及对gzip的了解
python爬虫数据中文显示为乱码解决方式（gbk导致）
littledive的博客
12-28 2856
爬虫乱码是一个很常见的问题，给大家分享一个我遇到的案例及解决方案 爬取对象为电影票房（网址：target='http://www.piaofang.biz/'） 电影名显示为乱码 此时查看网页源代码，发现显示为gbk 我们需要使用requests库的方法查看编码类型 可以看到编码为ISO-8859-1，然后只需要在对应位置上encode(ISO-8859-1)，中文乱码就可以解决 ...
python爬虫解决gbk乱码问题
weixin_30315723的博客
03-15 502
今天尝试了下爬虫，爬取一本小说，忘语的凡人修仙仙界篇，当然这样不好，大家要支持正版。 　　爬取过程中是老套路，先获取网页源代码　　 # -*- coding:UTF-8 -*- from bs4 import BeautifulSoup import requests if __name__ =='__main__': url='http://www.biquge.co...
python中utf-8和gbk编码格式_Python实现把utf-8格式的文件转换成gbk格式的文件
weixin_39693971的博客
11-25 300
需求：将utf-8格式的文件转换成gbk格式的文件实现代码如下：def ReadFile(filePath,encoding="utf-8"):with codecs.open(filePath,"r",encoding) as f:return f.read()def WriteFile(filePath,u,encoding="gbk"):with codecs.open(filePath,"...
python解码gbk_解决Python3 requests 响应头中文GBK编码报错，无法请求
weixin_39819138的博客
11-23 1085
问题表现：响应头中有gbk编码的中文，导致requests无法解码读取header。http包如图：Python 3.4.3 (default, Aug 25 2017, 16:49:50)[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linuxType "help", "copyright", "credits" or "license" for more...
Python爬取豆瓣排名报错参考——关键词：换行符|中文乱码|返回空值|正则问题
m0_66400013的博客
01-30 1565
一、完整代码 成功运行的代码（暂未加入爬取完整250条的循环，待更新）供参考： ''' step1 数据获取_requests 用开发者工具F12调出页面源代码，观察所需要的数据储存位置 如果储存在http页面中（服务器加载数据），可直接抓取 如果储存在其它地方，用抓包工具 发送请求，获得text版源码 用print检查无误后,将text版源码赋值存入a step2
python爬取表格 ‘gbk’ codec can’t encode character ‘\U0001f370’ in position 5: illegal multibyte sequence
12-22
在写爬虫，往csv写入文件时候报错 'gbk' codec can't encode character '\U0001f370' in position 5: illegal multibyte sequence 去一看名字我懵逼了是个emoji？？？？ 原来代码是这么写的 设置csv文件位UTF-8,...
Python + selenium 爬取网页信息
weixin_46178557的博客
09-20 3963
最近需要从网页上找一些有用的信息，就简单用python爬了一下。网上方法有很多，request，BeautifulSoup，selenium，Scrapy等等。 因为要爬的网站有的网站的数据为动态加载，这里我用selenium + ChromeDriver来获取页面数据。Selenium，适用于动态刷新网站
python爬取豆瓣电影top250编码_Python学习日记1| 用python爬取豆瓣电影top250
weixin_30888681的博客
12-28 926
今天是3.17号。离毕业论文开题只剩下不到15天，自己这边还不知道要写什么好，问了导师，导师给的范围超级广泛，实在是想吐槽。想了几天，决定了要尽快给老师说自己的想法和方向，做什么还是靠自己比较靠谱。身边的同学这学期都开始去实习了，自己投了很多份简历，大都石沉大海，唯一收到面试通知的广发基金，结果因为表现太差，缺乏深入思考gg了。看来术业有专攻，找到好工作还是要专的好。最近投了几篇小论文出去不过大都...
利用python爬取租房信息_Python爬虫实战(1)-爬取“房天下”租房信息(超详细)
weixin_30601893的博客
02-05 4223
#前言html先看爬到的信息：python 今天主要用到了两个库：Requests和BeautifulSoup。因此我先简单的说一下这两个库的用法，提到的都是此文须要用到的。编程#Requestsbashrequests是一个很实用的Python HTTP客户端库。ui下面经过一个例子来了解一下：编码网址就用房天下的天津整租租房信息“http://zu.tj.fang.com/house/n31/...
python3 requests爬取gbk时候遇到编码的坑
weixin_30378311的博客
08-31 2777
python3默认是utf8的，爬取gbk网页的时候会出现乱码 解决办法 test.encoding="gbk" test.text text不转换会出现错误，python3字符集不支持转码 第二种方法 test.content.decode("gbk") decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312'...
解决Python爬虫中文乱码(gbk)
weixin_41005658的博客
11-26 2435
解决Python爬虫中文乱码 乱码问题是很常见的一种事情，记录一下解决python爬虫中的乱码问题，后续遇到，还会继续补充。 我是爬得笔趣看小说网址 https://www.bqkan.com/25_25963/ 爬取小说章节题目的时候出现乱码 查看网页源码head对应的编码 如图所示为gbk 然后利用requests库的方法查看默认输出的编码类型 可以看到编码为ISO-8859-1 然后在相应的文本位置加入encode(‘ISO-8859-1’) 中文乱码解决 ...
python 编码gbk_Python处理不同编码utf8和gbk的问题
weixin_39841002的博客
12-03 635
匿名用户1级2017-01-15 回答有。使用chardet库。它会去猜测文本文件的编码，并返回形如：编码类型：utf-8置信度：0.9这样的结果，也就是说chardet断定该文件有90%的可能性是utf-8编码的。不过chardet的缺陷就是，它不能完全100%确定文件的编码类型。目前我的做法是，如果置信度超过0.95，那么就认定chardet的判断结果是正确的。否则，再加上一些人机交互操作进行...
python utf-8打开文件写入gbk_将文件从gbk改为utf8并显示在cons中
weixin_39872872的博客
12-07 299
Python很可能没有检测到使用chcp命令所做的临时代码页更改，因此在调用open时，它不会使用正确的编码。您可以通过以下操作来验证：>>> fd = open('/tmp/somefile.txt', 'r')>>> fd当然，在Python 3中可以覆盖它，可以执行以下操作：^{pr2}$使encoding参数更显式可能是您想要的。在另外，您也可以在不使用...
window系统下，用python的write()函数将爬取的网页内容写入文件时，出现UnicodeEncodeError: 'gbk' codec can't encode......错误
weixin_41787584的博客
08-04 876
程序代码： 错误提示：   解决方法： 在open()函数中加入encoding=‘utf-8’，即
python 爬取编码（charset）为gbk的网页
大葱敏的博客
10-27 7175
最近因为安卓作业需要，要对王者荣耀的官方网站进行爬取，然而在最开始便遇到了一些问题，王者荣耀官网的网页charset=gbk，所以爬取时需要进行编码转换，然而转换后却依旧中文乱码，经过查找，发现以下两种解决办法： 第一种： req = requests.get(headers=header, url=url) content = req.content print cont...
chatgpt赋能python：理解Python中GBK字符报错的问题
boRRjxBZRf的博客
05-29 653
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
解决Python在windows平台默认编码(encoding)为gbk所导致的open()函数报错及其他编码问题...
热门推荐
weixin_33881140的博客
10-26 2万+
注意 以下提到的Python均指的Python3.7 在windows平台下使用python内置函数 open() 时发现,当不传递encoding参数时，会自动采用gbk(cp936)编码打开文件，而当下很大部分文件的编码都是UTF-8。 我们当然可以通过每次手动传参encoding='utf-8'，但是略显冗余，而且有很多外国的第三方包，里面调用的内置open()函数并没有提供接口让我们指定e...
python基础复习（15）--二进制文件读写，GBk编码读写文件
xt18971492243的博客
12-29 776
#GBk编码读写文件 def writeFileA(): fobj=open("./t.txt","wb") fobj.write("abc中国".encode("gbk"))#将gbk转为2进制 fobj.close() def writeFileB(): fobj=open("./t1.txt","wt") fobj.write("abc中国") fobj.close() def readFile(filename): fobj=open(fil
报错UnicodeEncodeError: 'gbk' codec can't encode character '\u2fbc' in position 285032: illegal multibyte sequence
最新发布
03-30
当Python程序遇到`UnicodeEncodeError: 'gbk' codec can't encode character`错误时，通常是因为尝试将包含**非GBK兼容字符**的内容输出到文件或控制台，而系统默认使用GBK编码导致。以下是分步解决方案： --- ###...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值