Scrapy设置之提前终止爬虫

最新推荐文章于 2024-05-31 21:24:28 发布

bluespacezero

最新推荐文章于 2024-05-31 21:24:28 发布

阅读量1.2w

点赞数 8

CC 4.0 BY-SA版权

分类专栏： scrapy 网络爬虫文章标签： scrapy 爬虫

本文链接：https://blog.youkuaiyun.com/Q_AN1314/article/details/51104701

scrapy 同时被 2 个专栏收录

40 篇文章

订阅专栏

网络爬虫

37 篇文章

订阅专栏

本文深入探讨了Scrapy框架中CloseSpider扩展的功能，包括如何通过设置CLOSESPIDER_ITEMCOUNT、CLOSESPIDER_PAGECOUNT、CLOSESPIDER_TIMEOUT和CLOSESPIDER_ERRORCOUNT参数来实现爬虫程序的自动终止。通过命令行参数配置示例，详细说明了如何在不同场景下灵活应用这些参数以优化爬虫任务。

Scrapy的CloseSpider扩展会在满足条件时自动终止爬虫程序。可以设置CLOSESPIDER_TIMEOUT（秒）、CLOSESPIDER_ITEMCOUNT、CLOSESPIDER_PAGECOUNT、CLOSESPIDER_ERRORCOUNT分别代表在指定时间过后、在抓取了指定数目的Item之后、在收到了指定数目的响应之后、在发生了指定数目的错误之后就终止爬虫程序。通常情况下可以在命令行中设置：

$ scrapy crawl fast -s CLOSESPIDER_ITEMCOUNT=10
$ scrapy crawl fast -s CLOSESPIDER_PAGECOUNT=10
$ scrapy crawl fast -s CLOSESPIDER_TIMEOUT=10

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bluespacezero

关注关注

8
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Scrapy爬虫框架 Downloader Middleware 下载器中间件

Mr数据杨

08-31

394

在本教程中，我们深入探讨了 Scrapy 下载器中间件的基本使用方法及其核心功能。下载器中间件是 Scrapy 框架中的一个强大组件，它允许开发者在请求和响应的各个阶段进行定制化操作，从而实现更灵活和强大的数据抓取任务。Scrapy 的下载器中间件提供了强大的扩展性和灵活性，使得开发者可以定制化控制爬虫的行为，适应各种复杂的网络环境和抓取需求。掌握这些方法，将极大提升你在实际爬虫开发中的效率和能力。

Python3网络爬虫开发实战（17）爬虫的管理和部署（第一版）

最新发布

bigcrab的博客

09-17

2876

第一版的爬虫的管理和部署，有时间更新第二版的

参与评论您还未登录，请先登录后发表或查看评论

Scrapy定时关闭

孔天逸'Blog

03-19

5523

之前转载过一篇介绍定时执行Scrapy方法的博文：scrapy定时执行抓取任务，并且一直在使用这个方法做增量爬虫。但是问题来了，假设如下情景：某一天，我要爬的网站更新了非常非常多的内容，以至于一天过去了，我的爬虫还没有停止工作。但是我的Ubuntu系统并不知道，于是它又定时的去crontab中执行了定时任务。于是就出现了如下尴尬的情景：我的系统里同时运行着两只有同样功能的爬虫。这太尴尬了，即浪费系统

scrapy 安全的关闭爬虫

gang5688700的专栏

07-23

1304

scrapy 通过ctrl+c 信号可以安全的关闭爬虫，当spider 进程接收该信号时候，爬虫不会再调度新的任务，但是会把正在进行的任务处理完毕在关闭spider,并且正确调用spider_close方法 Linux : 找到spider进程id，使用kill -2 关闭爬虫 ps -ef|grep spidername|grep -v grep| awk '{print $2}' |xarg...

scrapy 主动停止爬虫转

lwdfzr的博客

07-15

1590

class CloseSpider(object): def __init__(self, crawler): self.crawler = crawler self.close_on = { 'timeout': crawler.settings.getfloat('CLOSESPIDER_TIMEOUT'), 'itemcount': crawler.settings.getint('CLOSESPIDER_I.

解决Scrapy-Redis空跑问题，链接跑完后自动关闭爬虫

執筆冩回憶

06-26

717

Scrapy-Redis 空跑问题，redis_key链接跑完后，自动关闭爬虫问题：scrapy-redis框架中，reids存储的xxx:requests已经爬取完毕，但程序仍然一直运行，如何自动停止程序，结束空跑。分布式扩展：我们知道 scrapy 默认是单机运行的，那么scrapy-redis是如何把它变成可以多台机器协作的呢？首先解决爬虫等待，不被关闭的问题：1、scrapy内部的信号系统...

scrapy 主动停止爬虫

weixin_30468137的博客

05-06

1000

"""CloseSpider is an extension that forces spiders to be closed after certain conditions are met. See documentation in docs/topics/extensions.rst """ class CloseSpider(object): def __...

scrapy关闭爬虫

python学习者Joy.xiong的博客

03-05

3098

爬虫结束是一个很模糊的概念，在爬虫爬取过程中，爬取队列是一个不断动态变化的过程，随着request的爬取，又会有新的request进入爬取队列。进进出出。爬取速度高于填充速度，就会有队列空窗期（爬取队列中，某一段时间会出现没有request的情况），爬取速度低于填充速度，就不会出现空窗期。所以对于爬虫结束这件事来说，只能模糊定义，没有一个精确的标准。利用scrapy的关闭spider扩展功能 #...

【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

m0_67844671的博客

05-31

6665

Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

Scrapy爬虫异常处理全解析：确保数据抓取稳定性和准确性的方法

![Scrapy爬虫]...它可以用来抓取web站点并从页面中提取结构化的数据，但Scrapy不仅仅是一个爬虫，它更是一个信息提取框架，允许用户以非

Scrapy定时执行爬取任务与定时关闭任务

weixin_30241919的博客

10-14

349

　　当我们利用Ｐython　scrapy框架写完脚本后，脚本已经可以稳定的进行数据的爬取，但是每次需要手动的执行，太麻烦，如果能自动运行，在自动关闭那就好了，经过小编研究，完全是可以实现的，今天小编介绍２种方案来解决这个问题由于scrapy框架本身没有提供这样的功能，所以小编采用了linux 中crontab的方式进行定时任务的爬取方案一：　编写shell脚本文件cron.sh ...

scrapy主动关闭爬虫

weixin_42156283的博客

04-14

1283

在spider文件的函数内写入： self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫')

scrapy主动结束爬虫任务

weixin_43863961的博客

08-21

2355

实现原理 def __init__(self, crawler): self.crawler = crawler @classmethod def from_crawler(cls, crawler): return cls(crawler) # 结束爬虫 self.crawler.engine.close_spider(spider, 'closespid...

scrapy主动触发关闭爬虫

dianyin7770的博客

10-09

166

在spider中时在方法里直接写 self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫') 在pipeline和downloaderMiddlewares里 spider.crawler.engine.close_spider(spider, '没有新数据关闭爬虫') 转载于:https://www.cnbl...

scrapy爬虫设置停止的条件

amanloveformi的博客

08-29

6816

使用scrapy做爬虫程序时，有时候我们需要在爬虫满足一定条件时，将程序中断掉，从而不再向服务器发送已经没有意义的请求。一：scrapy中提供的两种停止的方式： 1.在spider中停止爬虫：在解析函数中调用内置函数 self.crawler.engine.close_spider(self, "当调用此方法时打印信息为：无有效信息，关闭spider") 设置条件，当满足一定的条...

优雅的操作scrapy爬虫的开始和结束

x2584179909的博客

10-11

3827

优雅的操作scrapy爬虫的开始和结束scrapy 管道中开始和结束信号scrapy spider中开始和结束信号 scrapy 管道中开始和结束信号 from scrapy import signals class MySpider(object): def __init__(self): pass @classmethod def from_crawl...

scrapy配置爬虫关闭的条件（二）

lizibin1987的博客

02-08

1072

Scrapy 没有按照配置 CLOSESPIDER_ITEMCOUNT, CLOSESPIDER_TIMEOUT 来终止爬虫的问题在settings中配置了关闭爬虫的相关扩展： CLOSESPIDER_TIMEOUT CLOSESPIDER_ITEMCOUNT CLOSESPIDER_PAGECOUNT CLOSESPIDER_ERRORCOUNT 或者是在命令行运行spider...

Scrapy-redis之终结篇

weixin_43706473的博客

09-22

569

scrapy-redis 为什么要用scrapy-redis？ Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式,实现一个任务多台服务器执行，大大的提高了效率安装 pip3 install scrapy-redis ...

scrapy 的暂停和重启

了不起的水獭的博客

07-17

7131

scrapy的爬虫在运行时，需要暂时停止运行，并在下一次从暂停的地方继续爬取的方法： 1.打开cmd进入虚拟环境，cd到scrapy的main.py目录下； 2.在cmd下输入以下命令 scrapy crawl 爬虫名称 -s JOBDIR=保存进程的文件夹目录比如我要运行的spider的name为zhihu，文件夹目录是scrapy目录下的job_info/001(001表示这是一次...