Python爬虫报错 初入爬虫要注意的点

最新推荐文章于 2020-04-20 20:36:46 发布
最新推荐文章于 2020-04-20 20:36:46 发布
阅读量191 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41607190/article/details/99296494
本文探讨了提高爬虫成功率的关键因素，包括如何正确设置请求头，避免使用压缩类型和内容长度字段，以确保爬虫能够更有效地获取目标网站的数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

废话不多说
爬虫其实就是我们用代码去模仿浏览器发送请求，模仿的像不像就关系到我们爬虫的成功率
提高这个成功率，有如下几个要点
1.请求头没有模仿完整
2.复制请求头时，有个**Accept-Encoding：gzip，deflate，**这是压缩类型有这个请求头的话，返回响应信息时就是压缩过的，后面就要有解压缩的步骤如果不会解压缩，那么干脆 请求头里把这句注释了，不需要压缩
3.还有个 Content-Length：120 内容长度，也别加，网页会自动算出来，如果写的不对
可能会爬取失败

Python中网络爬虫报错的调试与修复：全网最有效最简单的解决方案
shejizuopin的博客
04-28 1102
Python网络爬虫的报错调试与修复需要开发者具备一定的耐心和技巧。通过了解常见的报错类型及原因，掌握有效的调试与修复方案，并采取优化措施提高爬虫的性能与稳定性，可以大大提高爬虫的开发效率和成功率。在实际开发过程中，不断积累经验，根据具体情况灵活运用各种方法，才能更好地应对各种复杂的网络环境和网站结构变化。希望本文提供的解决方案能对广大Python爬虫开发者有所帮助。
Python快速上手爬虫的7大技巧!
pythonlaodi的博客
11-07 269
Python应用最多的场景还是Web快速开发、爬虫、自动化运维。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1. 基本抓取网页 get方法 post方法 2. 使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP; 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3. Cookies处理 cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的
爬虫注意点
种花童心
04-20 181
爬虫注意点1
slhlde的博客
07-30 425
wb_data=requests.get(url,headers=headers) soup=BeautifulSoup(wb_data.text,"html.parser")   html=get_html(url) soup=BeautifulSoup(html,'html.parser')
爬虫有什么注意点
ailinyingai的博客
02-08 285
普通爬虫就是页面获取相应的数据
python 爬虫一些错误处理
dianjiao1806的博客
01-05 256
此博客将会持续不断的更新，用python实现爬虫过程中遇到的各种问题 1、pycharm：ImportError: No module named spidertutorial.items pycharm打开scrapy创建的爬虫目录，在spiders下面创建spider.py文件后，导入from XXX.items import XXXX 报错 解决：pycharm不会将当前文件...
Python爬虫总结——常见的报错、问题及解决方案
热门推荐
WoLykos
12-24 1万+
在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。 在以后的学习中，如果遇到其他问题，我也会在这里进行更新。 各位如有什么补充，欢迎评论区留言~~~ 问题： IP被封，或者因访问频率太高被拦截？？？ 解决方案之一： 使用代理IP即可。 问题： 正确使用XPath之后并没有输出？？？ 解决方案之一： XPath只能提取未注释的代码，改用正则表达式即可。 ...
python 爬虫 报错 求救
12-22
raise JSONDecodeError(“Expecting value”, s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)报错! 在找到某度文库文档的js文件链接后想用json.loads()进行解析...
5个常见Python爬虫报错及解决方法.pdf
最新发布
04-20
Python 就是你的不二之选！它作为当今最热门的编程语言，以简洁优雅的语法和强大的功能，深受全球开发者喜爱。该文档为你开启一段精彩的 Python 学习之旅。从基础语法的细致讲解，到实用项目的实战演练，逐步提升你...
python爬虫报错：OSError: [Errno 22] Invalid argument
01-21
多番查找发现： 原来是不符合Windows系统文件命名规则！ 如下：1、 允许文件或者文件夹名称不得超过255个字符；...python： title = title.replace('?', '').replace('*', '').replace(' ', '') 作者：dr
python爬虫常见异常及处理方法
woyaojinqu的专栏
10-05 1万+
欢迎使用Markdown编辑器写博客在编写python爬虫时经常会遇到异常中断的情况，导致爬虫意外终止，一个理想的爬虫应该能够在遇到这些异常时继续运行。下面就谈谈这几种常见异常及其处理方法： 异常1：requests.exceptions.ProxyError 对于这个错误，stackoverflow给出的解释是 The ProxyError exception is not actual
爬虫需要注意的常见事项
CoderYYN
09-30 1594
前言 注意事项 构造合理的 HTTP 请求头 设置合理的cookie 爬虫访问速度和路径的控制 避免进入蜜罐 注意网页隐藏的信息 使用可变IP 我的个人博客网站是：www.coderyyn.cn 上面会不定期分享有关爬虫、算法、环境搭建以及有趣的帖子 欢迎大家一起交流学习 转载请注明 ...
Python3 爬虫编写报错及解决方法整理
jayandchuxu的专栏
02-18 4758
将爬虫运行过程中遇到的错误进行整理，方便后来查询 运行环境：Python3.6+Pydev 编码错误运行时候报错：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u2022’ in position 16707: illegal multibyte分析：看描述是编码方面的问题； 解决方法：项目—>属性 将编码改成utf-8
【系列】scrapy启动流程源码分析(3)ExecutionEngine执行引擎
csdn_yym的博客
01-05 820
3.ExecutionEngine执行引擎 上一篇分析了CrawlerProcess和Crawler对象的建立过程，在最终调用CrawlerProcess.start()之前，会首先建立ExecutionEngine执行引擎，执行其open_spider和start方法。 ExecutionEngine.open_spiders() scrapy/core/engine.py#ExecutionE...
Python爬取数据的注意事项
zhangrukun的专栏
07-24 975
1、F12->network-XHR:ajax是个好东西，好多数据直接异步加载，切记不能忽略！ 2、Scrapy爬取某网站数据，在settting中延迟设为1秒，单IP，无代理，9级request跳转(包含FormRequest),最后一级(第10级)yield item.平均5秒完成一条数据入库(MongoDB) 3、有些请求的headers中，Referer的值为空或者None,也必...
python 爬虫基础（一）：访问网页时候，总是报错404错误
科大小笨的博客
08-31 9331
python 爬虫访问网页时候，总是报错404错误> 如题，可能是因为没有增加header，网站认为你在非法攻击。 可以用如下代码调试代码块语法遵循标准markdown代码，例如：import urllib2 import jsonpath import time # get city idrequest_city= urllib2.Request("http://www.xj.10086.cn/s
网络爬虫设计中需要注意的几个问题
weixin_34321977的博客
07-13 603
做网络爬虫是件很有意义的事情。首先，它可以是一个专门的职业。从公司层面讲，业务和战略可能都需要很多数据进行多维度分析，所以现在很多公司都有专门的爬虫工程师负责设计数据采集系统；其次，很多公司以爬虫为生，爬虫就是他们用来赚取利润的最主要手段，比如说各大搜索引擎和最近比较流行的即刻 APP；最后，爬虫也可以成为程序员业余时间赚取外快的好玩具，很多社群找程序员兼职爬取目标数据；最不济，它还可以成为一个好...
python爬虫报错
12-28
以下是一些常见的Python爬虫报错及其解决办法： 1. 编码错误（UnicodeDecodeError）：当爬取的网页包含非ASCII字符时，可能会出现编码错误。解决方法是使用正确的编码方式对网页进行解码。 ```python import ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值