爬取小说时遇到的问题='gbk' codec can't encode character '\ufffd'、内容为空

最新推荐文章于 2024-02-28 11:56:47 发布
原创 最新推荐文章于 2024-02-28 11:56:47 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

在学习Python爬虫过程中，遇到从网址https://www.miaoshuwu.com/25/25599/459529589.html抓取小说内容时，因GBK编码问题导致'\ufffd'字符无法编码。尝试用urlretrieve下载整个页面，发现小说内容存在，但在写入TXT时出现UnicodeEncodeError。经过研究，发现内容包含无法被GBK编码的字符。通过将保存文件编码更改为ANSI，问题得到解决。

python新手强烈推荐教程：爬虫入门 https://www.bilibili.com/video/av19954075
昨天在B站上看了这个爬虫入门视频，在实践中遇到了2个问题。
下面是我爬取小说时遇到问题的url
url=‘https://www.miaoshuwu.com/25/25599/459529589.html’

网址的源代码里面有小说的内容：

<div class="content">
		<h1>第一百五十三章 见面</h1>
		<div class="link"><span>妙书屋小说推荐阅读：<a href="https://www.miaoshuwu.com/0/682/" target="_blank">吻安，小娇妻！</a>、<a href="https://www.miaoshuwu.com/17/17413/" target="_blank">霸道老公放肆爱</a>、<a href="https://www.miaoshuwu.com/7/7168/" target="_blank">元尊</a>、<a href="https://www.miaoshuwu.com/0/5/" target="_blank">恰似寒光遇骄阳</a>、<a href="https://www.miaoshuwu.com/0/1/" target="_blank">尸命</a>、<a href="https://www.miaoshuwu.com/14/14974/" target="_blank">名门隐婚：枭爷娇宠妻</a>、<a href="htt
最低0.47元/天 解锁文章
json.dump(json_obj, f, ensure_ascii=False)，报错UnicodeEncodeError: ‘gbk‘ codec can‘t encode character
programmer589的博客
04-21 1229
json.dump(json_obj, f, ensure_ascii=False)，报错UnicodeEncodeError: 'gbk' codec can't encode character '\xa6' in position 8: illegal multibyte sequence
【Python】慢谈UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xa0‘ in position 31 报错
CNSamRol的博客
11-25 1474
最近在用python执行写入文件的程序时，出现了这个报错： 意思是将Unicode字符编码转为GBK时候出现了问题，可能是本身Unicode类型的字符中，包含了一些无法转换为GBK编码的一些字符; 所以我头脑中萌生出的第一种解决办法是把那些无法转换为GBK编码的字符给删了，转换不了的字符在报错中也说明了是’\xa0‘这个东西。于是我就修改了下代码。 from lxml import etree import requests url = "https://www.qb5.tw/book_5158
'gbk' codec can't encode character解决方法
weixin_30852367的博客
05-27 785
f = open("a.txt","w") ，在windows下面，新文件的默认编码是gbk，这样的话，python解释器会用gbk编码去解析我们的网络数据流txt，然而txt此时已经是decode过的unicode编码，这样的话就会导致解析不了，出现上述问题。 解决的办法就是，改变目标文件的编码： f = open("a.txt","w",encoding='utf-8') 转...
Python UnicodeEncodeError: 'gbk' codec can't encode character 解决方法
09-22
主要介绍了Python UnicodeEncodeError: 'gbk' codec can't encode character 解决方法,需要的朋友可以参考下
Python中出现UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u2022’
12-21
UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u2022’ in position 7: illegal multibyte sequence Python中打开一个文件夹编写，file1 = open(‘E:\数据挖掘报告.txt’, ‘a’) 在写入的过程中出现了报错： UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u2022’ in position 7: illegal multibyte sequence 解决方案： 在打开文件时添加encodin
UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd' in position 89151: illegal multibyte
DOUZHENG8433的博客
10-04 8911
windows上面，编辑工具vscdoe，在学习嵩天老师的爬取京东商品界面时，出现的错误，需要将字符乱码 ‘\ufffd’，使用空字符替换掉。中文乱码问题请参考，python中文编码问题解析 import requests def jingdong(url): try: r= requests.get(url,timeout=10) print(r.stat...
python爬虫——gbk' codec can't encode character '\ufffd' in position 33986: illegal multibyte sequence
Little_Yu的博客
02-25 3831
爬取东方方财富网公告时，出现编码错误： gbk’ codec can’t encode character ‘\ufffd’ in position 33986: illegal multibyte sequence 原因是gbk不能编码‘\ufffd’字符。 解决办法：删除文本中的‘\ufffd’字符。 原代码如下： def mini_spider(url): response=requ...
'gbk' codec can't encode character '\ufeff' in position 10: illegal multibyte sequence
weixin_42628008的博客
08-12 5050
from aip import AipNlp import json 认证信息 APP_ID = ” API_KEY = ’ ’ SECRET_KEY = ’ ‘ def get_ocr_str(file_path): “”” 图片转文字 :param file_path: 图片路径 :return: “”” with o...
Python异常UnicodeEncodeError 'gbk' codec can't encode character '\xa0'
曾记否？的博客
09-10 7629
问题描述 在写爬虫爬取网页信息时，发生了以下错误： UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' 意思大致是Unicode编码错误，gbk编解码器不能编码\xa0字符。 爬虫程序爬取的是课程信息，包含中文。使用requests库访问网页，使用BeautifulSoup库解析网页，用get_text()方法获取标签...
UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd' in position 146: illegal multibyte s
Lucky_JP的博客
10-18 4892
错误信息让人很困惑，为什么用的是’utf-8’解码，错误信息却提示’gbk’错误呢？在python3里，有几点关于编码的常识字符就是unicode字符，字符串就是unicode字符数组原来是print()函数自身有限制，不能完全打印所有的unicode字符。知道原因后，google了一下解决方法，其实print()函数的局限就是Python默认编码的局限，因为系统是win7的，python的默认编码
【问题记录】UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\ufffd‘
weixin_43731585的博客
02-28 1419
UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd' in position 34: illegal multibyte sequence
[python]UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'
weixin_30325487的博客
03-07 296
有关编码问题，一直以来都是十分头疼的问题。代码中的字符编码其实还好，但是由于使用的window系统，会用Window的默认编码去解析文本。 今天用脚本在写文件的时候，就总是弹出UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'的编码问题。 python内部的编码是没问题的，问题就是系统编码GBK不识别\ufffd这个字...
Python异常UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd'
热门推荐
曾记否？的博客
09-10 4万+
问题描述 在写爬虫爬取网页信息时，发生了以下错误： UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd' 意思大致是Unicode编码错误，gbk编解码器不能编码\ufffd字符。 爬虫程序爬取的是课程信息，包含中文。使用requests库访问网页，使用BeautifulSoup库解析网页，用get_text()方法...
python 运行 execjs 出现错误 UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\ufffd‘
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
11-11 2万+
python 运行 execjs 出现错误 UnicodeEncodeError: ‘gbk‘ python 运行 execjs 出现错误 UnicodeEncodeError: ‘gbk‘
[434]UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\ufffd‘等类似问题
周小董
11-27 2万+
问题描述 在写爬虫爬取网页信息时，发生了以下错误： UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\ufffd’ 意思大致是Unicode编码错误，gbk编解码器不能编码\ufffd字符。 错误原因 cmd默认编码是GBK，字符\ufffd不能编码为GBK。 查阅Unicode编码表或者使用Python自带的集成开发环境...
Python_execjs执行js报错：UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\ufffd‘ in position 757
阿轩的博客
09-10 1804
PyExecjs模块执行js时发生GBK报错
强推！！！解决UnicodeEncodeError: ‘gbk‘ codec can‘t encode character.....: illegal multibyte
妙齐光的博客
08-18 1万+
解决pycharm编码报错问题 困扰了好几天的编码问题终于得到了解决，其实问题很简单，当你用pycharm打开一个txt/json/csv文件时，像下面这种： 明明已经指定了编码方式为utf-8为什么还是会报UnicodeEncodeError: ‘gbk’ codec can’t encode character…: illegal multibyte的错误，是因为你指定了IDE的encoding方式并没有指定project encoding方式。 Python3.X 源码文件默认使用utf
UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd' in position 57: illegal multibyte sequence
最新发布
10-23
<think>我们正在处理一个Unicode编码错误，具体是'gbk'编解码器无法编码某个字符。根据引用，这类问题通常发生在尝试用gbk编码写入文件时，字符串中包含gbk编码不支持的字符。 错误信息中的位置57和字符'�'（可能是一个占位符，表示无法识别的字符）表明在字符串的第57个字符处有一个gbk无法编码的字符。 解决方案通常有以下几种： 1. 指定文件打开的编码为'utf-8'，因为utf-8支持更多的字符。这是最常用的方法。 2. 在打开文件时指定`errors`参数，比如`errors='ignore'`或`errors='replace'`，这样在遇到无法编码的字符时会忽略或替换（例如用?代替）。 3. 如果确定字符串中只有少量gbk不支持的字符，也可以尝试将它们替换掉。 根据引用[1][2][3][4]的内容，我们推荐第一种方法：使用utf-8编码打开文件。 例如，原本的代码可能是： with open('file.txt', 'w') as f: f.write(text) 修改为： with open('file.txt', 'w', encoding='utf-8') as f: f.write(text) 如果问题仍然存在，可以尝试使用errors参数： with open('file.txt', 'w', encoding='utf-8', errors='ignore') as f: f.write(text) 或者，如果坚持使用gbk编码，但想避免错误，可以： with open('file.txt', 'w', encoding='gbk', errors='ignore') as f: f.write(text) 但通常推荐使用utf-8，因为它更加通用。 另外，注意错误信息中的字符'�'（U+FFFD）通常是在解码时出现的替换字符，这里出现可能是由于之前的解码错误。但当前错误是编码错误（写入文件时），所以直接处理编码即可。 如果问题发生在其他操作（如打印）上，可能是因为控制台的编码不支持。对于控制台，可以尝试设置环境变量或改变控制台的编码（例如在Windows命令提示符下使用chcp 65001切换到UTF-8编码）。 根据用户的具体错误信息，位置57的字符可能是某个特殊字符，比如引用中出现的\u0157, \u01b5, \xa9, \xa0等。这些字符在gbk编码中可能没有对应的表示。 因此，总结解决步骤： 1. 修改文件打开方式，使用utf-8编码。 2. 如果无法修改文件编码（例如必须使用gbk），则使用errors参数来处理无法编码的字符。 3. 检查数据源，确保数据中没有损坏的字符（但这里错误是编码问题，不是解码问题，所以通常不需要清洗数据源）。 用户的问题是查找解决方法，我们已经给出。 现在生成相关问题： 1. 如何避免Python中的Unicode编码错误？ 2. 在Python中，如何更改控制台的默认编码？ 3. 除了文件写入，还有哪些情况会出现UnicodeEncodeError？ </think>### 解决UnicodeEncodeError: 'gbk' codec can't encode character错误的方法 这个错误通常发生在Python程序尝试用GBK编码处理非ASCII字符时。以下是完整解决方案： #### 1. **修改文件编码（推荐方案）** 在打开文件时显式指定UTF-8编码： ```python with open('文件名.txt', 'w', encoding='utf-8') as f: # UTF-8支持所有Unicode字符 f.write(你的内容) ``` #### 2. **使用错误处理机制** 在无法修改编码时，通过`errors`参数处理非法字符： ```python with open('文件名.txt', 'w', encoding='gbk', errors='ignore') as f: # 忽略无法编码的字符 # 或使用 errors='replace' 替换为问号 � f.write(你的内容) ``` #### 3. **字符替换预处理** 手动过滤特殊字符： ```python clean_text = your_text.encode('gbk', 'ignore').decode('gbk') # 双重转换过滤 with open('文件.txt', 'w') as f: f.write(clean_text) ``` #### 4. **系统级解决方案** - **Windows控制台**：执行`chcp 65001`切换为UTF-8模式 - **环境变量**：设置`PYTHONIOENCODING=utf-8` - **IDE配置**：在VSCode/PyCharm中将终端编码设置为UTF-8 #### 错误原因分析 GBK编码仅支持中文字符集（约21,000字符），当遇到以下字符时会报错： - 特殊符号（如`\xa0`不换行空格）[^4] - 拉丁扩展字符（如`\u0157`、`\u01b5`）[^1][^2] - 版权符号等（如`\xa9`）[^3] > **诊断提示**：错误中的`position 57`表示字符串第57个字符是非法字符，可使用`print(repr(your_text[56]))`定位具体字符[^1][^4]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值