scrapy retry 错误重试设置

最新推荐文章于 2024-05-14 15:25:34 发布

anlideer

最新推荐文章于 2024-05-14 15:25:34 发布

阅读量5.2k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：随便写写python 文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/anlideer/article/details/115417676

本文介绍了在使用Scrapy爬虫时如何设置错误重试，以应对请求URL时可能出现的异常情况，如代理IP问题。通过在settings中间件设置和调整参数，可以确保在遇到异常时自动重试请求，提高爬虫的稳定性。重点关注了中间件的执行顺序和HTTP状态码的处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有时候用scrapy爬虫的时候会遇到请求某些url的时候发生异常的情况（多半是因为代理ip抽风了），这时候就可以设置一下retry让它自动重试，很简单。

settings中间件设置

看了下官网
官网截图
那么很方便的，我们也可以在settings里这么写

DOWNLOADER_MIDDLEWARES = {
   
    'rent.middlewares.ProxyMiddleWare': 700,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
}

其中第一个是我自己定义的代理ip的中间件，像官网一样proxy中间件的优先级数字应该比retr

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

anlideer

关注关注

6
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

scrapy重试机制_针对特定网站scrapy爬虫的性能优化

weixin_42300798的博客

12-23

981

在使用scrapy爬虫做性能优化时，一定要根据不同网站的特点来进行优化，不要使用一种固定的模式去爬取一个网站，这个是真理，以下是对58同城的爬取优化策略：一、先来分析一下影响scrapy性能的settings设置(部分常用设置)：1，DOWNLOAD_TIMEOUT，下载超时，默认180S，若超时则会被retry中间件进行处理，重新加入请求队列2019-04-18 20:23:18 [scrapy...

scrapy重试机制_捕获异常URL--scrapy 源码分析之retry中间件

weixin_30482027的博客

12-23

1539

这次让我们分析scrapy重试机制的源码，学习其中的思想，编写定制化middleware,捕捉爬取失败的URL等信息。scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associ...

参与评论您还未登录，请先登录后发表或查看评论

scrapy自定义重试

qq_34309753的博客

10-19

850

1.通过响应的状态码或者异常来进行重试 class MyselfSpiderMiddleware(RetryMiddleware): def process_response(self, request, response, spider): if request.meta.get('dont_retry', False): return response if response.status in self.retry_http...

scrapy重试机制_Scrapy 框架理解

weixin_28917137的博客

01-30

869

scrapy的架构图：组件Scrapy Engine引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。调度器(Scheduler)调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。下载器(Downloader)下载器负责获取页面数据并提供给引擎，而后提供给spider。SpidersSpider是Scrapy用户编写用于分析response并提取it...

scrapy重试机制_Scrapy爬虫框架第五讲（linux环境)【download middleware用法】

weixin_28995139的博客

12-23

560

DOWNLOAD MIDDLEWRE用法详解通过上面的Scrapy工作架构我们对其功能进行下总结：(1)、在Scheduler调度出队列时的Request送给downloader下载前对其进行修改(2)、在下载生成后的Response发送给Spider并在Spider对其解析之前对其修改【这里我们将scheduler spiders downloader middlewares downloade...

爬虫实战记录——重写Scrapy重试中间件解决重定向（正常状态码）的异常重试

Perye的博客

03-02

2502

有些网站在检测到爬虫时不会直接返回401之类的异常状态码，而是重新重定向到另一个页面，但我们并不能从重定向的页面中获取到数据，因此我们重写RetryMiddleware来解决这一问题，在被重定向时进行重试，以期在下次更换IP或header后可以正常访问。首先我们需要大致了解一下scrapy.downloadermiddlewares.retry.RetryMiddleware的源代码，可以看一下...

Scrapy中的重试与错误处理策略

介绍Scrapy框架 ## 1.1 什么是Scrapy Scrapy是一个开源的Web爬虫框架，用于快速高效地从网站上提取结构化的数据。它基于Python编写，并且功能强大灵活，被广泛应用于数据挖掘、信息处理等领域。 ## 1.2 Scrapy的...

Scrapy中的错误处理与重试机制

介绍Scrapy中的错误处理与重试机制 ## 1.1 什么是Scrapy框架 Scrapy是一个开源的Python爬虫框架，它提供了一个快速高效的数据抓取和处理的解决方案。Scrapy框架通过定义爬虫规则、请求调度、数据解析等功能，可以...

Scrapy中的错误处理与重试机制：如何应对爬取过程中的异常情况

# 1. 简介 ## 1.1 Scrapy框架概述 Scrapy是一个基于Python的开源网络爬虫框架，它提供了...本文将深入探讨Scrapy中的错误处理与重试机制，内容包括错误处理基础、重试机制的实现、自定义错误处理与重试策略、实践与

爬虫工作量由小到大的思维转变---＜第二十九章 Scrapy的重试机制(避混淆)＞

晦涩难董先生

12-26

1327

单纯讲重试的问题---因为今天有人私了我他的代码,我忽然觉得这怕是一个误区;1.重试是在做减法!不要去给他+了;2.不要一出异常就抛,给每个url请求一个机会,也有可能是咱网络或者IP其他别的问题呢?3.彻底抛出url请求异常,最好写在重试次数结束之后;

scrapy重试机制_Scrapy工作原理

weixin_35385409的博客

12-23

409

1. Scrapy旧版架构图(绿线是数据流向)Spiders(爬虫)：负责处理所有Responses，从中分析提取数据，获取Items字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。Engine(引擎)：负责Spider、Item Pipeline、Downloader、Scheduler中间的通讯、信号以及数据传递等。Scheduler(调度器)：负责接受引...

scrapy自定义重试方法

python学习者的博客

03-20

4617

Scrapy是自带有重试的，但一般是下载出错才会重试，当然你可以在Middleware处来完成你的逻辑。这篇文章主要介绍的是如何在spider里面完成重试。使用场景比如，我解析json出错了，html中不包含我想要的数据，我要重试这个请求（request）。我们先看看官方是如何完成重试的 scrapy/downloadermiddlewares/retry.py 可以看到非常清晰...

scrapy重试机制_Scrapy项目之User timeout caused connection failure（异常记录）

weixin_39911567的博客

12-31

770

Windows 10家庭中文版，Python 3.6.4，Scrapy 1.5.0，html提示：此文存在问题，真正测试，请勿阅读，shell07-14 14:26更新：cookie通过两个多小时的测试，发现此问题的缘由是昨天编写爬虫程序后，给爬虫程序添加了下面的属性：网络download_timeout = 20dom此属性的解释：scrapyThe amount of time (in s...

scrapy爬虫retry使用

qq_30417749的博客

09-17

1074

最近使用scrapy爬虫的过程中遇到response 403的问题，由于服务器拒绝，需要重新retry。查了很久，翻看文档终于明白scrapy自带的retry如何使用。配置setting.py，在网上可以随意查找到，设置启动retry机制，： DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550, } RETRY_ENABLE=True RETRY_TIMES=100

爬虫工作量由小到大的思维转变---＜第七十五章＞ Scrapy爬虫回调函数在请求重试中的应用研究

最新发布

晦涩难董先生

05-14

1470

在Scrapy框架中，中间件重试机制是指系统自带的一个功能，它能在请求因为某些原因失败时自动进行重试。比如说，如果因为网络问题或者服务器暂时不可用导致请求失败，Scrapy会根据设定的重试次数和重试间隔自动重新发起请求。使用这个机制，你只需要在项目的设置里做些简单的配置，比如设置最大重试次数，而无需在代码中明确编写重试逻辑。想象我们现在面对的是一个在线图书商城，该商城的书评信息是通过动态加载的方式展现的，而且每次只能通过修改POST请求的参数来获取不同页码的书评数据。

捕获异常URL--scrapy 源码分析之retry中间件

0x8g1T9E-

07-08

8350

这次让我们分析scrapy重试机制的源码，学习其中的思想，编写定制化middleware,捕捉爬取失败的URL等信息。 scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的，也可以应用在获取API所返回的数据(例如Amazon Associates Web Services) 或者通用的网络爬虫。一张图可看清楚scrapy中数...

使用Scrapy遇到的问题

梦想是很难很难的，所以先勇敢一点

02-18

3073

twisted.internet.error.TimeoutError 请求超时在使用 scapy 进行大批量爬取的时候，少数请求链接会出现请求超时，当出现请求超时时，爬虫会自动重试三次。可以通过设置 RETRY_ENABLED = False 来关闭重试机制若超过 180s 且三次后且还是没有得到数据，就会出现 twisted.internet.error.TimeoutError 错误。超时时间可以通过DOWNLOAD_TIMEOUT设置解决办法降低同时请求的数量 CONCURRE

【Python爬虫】Scrapy Middlewares一些配置(异常，代理，重试)

weixin_41861700的博客

08-14

1261

一.ProxyMiddleware(obeject): class ProxyMiddleware(object): logger = logging.getLogger(__name__) # request前，先添加代理 def process_request(self, request, spider): self.logger.debug('Us...