解决scrapy需要批量启动多个脚本的问题，scrapy 批量运行脚本方式

da_pangzi

已于 2023-02-02 14:50:38 修改

阅读量405

点赞数

分类专栏：爬虫scrapy 文章标签： scrapy python 开发语言

于 2023-01-28 17:06:53 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_44532999/article/details/128779901

版权

爬虫scrapy 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了两种在Scrapy中批量启动多个爬虫的方法：一是使用os模块的system方法逐个启动；二是利用CrawlerProcess在同一进程中并发启动多个爬虫。后者更适用于需要同时运行多个爬虫的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：

	今天遇到在远程服务器上，os 批量启动时存在启动不了的情况，

问题解决：

批量启动有好多种方式，但是我个人主要用的有两个，
当第一个无法启动时，测试第二种启动方式 ，可以正常启动；

"""
批量启动
"""
# ------------------- 第一种  ----------------------------------------
import os


os.system("scrapy crawl Nj")
os.system("scrapy crawl Yanc")
os.system("scrapy crawl Hzs")

简单做个记录吧。
在这里插入图片描述

第二种，是调用scrapy 系统自带的方式，
为了让同一个 Scrapy 项目下面的多个爬虫实现真正的同时运行，我们可以使用 Scrapy 的CrawlerProcess。

它的用法如下：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()

crawler = CrawlerProcess(settings)
crawler.crawl('爬虫名1')
crawler.crawl('爬虫名2')
crawler.crawl('爬虫名3')
crawler.start()

使用这种方法，可以在同一个进程里面跑多个爬虫。

# --------------------  第二种  ------------------------------------

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()

crawler = CrawlerProcess(settings)
crawler.crawl('Nj')
crawler.crawl('Yanc')
crawler.crawl('Hzs')
crawler.start()

两种方式都可以实现，scrapy 多个项目的批量启动；