cmdline.execute执行完第一个爬虫主程序就停止了，怎么顺序执行多个爬虫

liu_xzhen

已于 2022-02-23 18:07:59 修改

阅读量1k

点赞数 3

分类专栏： python 文章标签：爬虫 python pycharm

于 2022-02-23 18:06:12 首次发布

原文链接：https://blog.youkuaiyun.com/xc_zhou/article/details/80871382?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-1.pc_relevant_paycolumn_v3&spm=1001.2101.3001.4242.2&utm_relevant_index=4

版权

python 专栏收录该内容

45 篇文章

订阅专栏

这段代码展示了如何通过Python的os模块和Scrapy的cmdline模块来依次执行多个Scrapy爬虫。首先，使用os.system直接运行两个爬虫（ccdi和ccxi）。然后，通过cmdline.execute方法同样执行了这两个爬虫。最后，间隔30秒后，执行了名为'shanghaione'和'shanghaitwo'的两个爬虫。整个过程表明了如何在同一个脚本中管理和调度Scrapy爬虫任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding:utf-8 -*-

from scrapy import cmdline
from scrapy.cmdline import execute
import sys,time,os

#会全部执行爬虫程序
os.system('scrapy crawl ccdi')
os.system('scrapy crawl ccxi')
#-----------------------------------------------------

#只会执行第一个
cmdline.execute('scrapy crawl ccdi'.split())
cmdline.execute('scrapy crawl ccxi'.split())
#-----------------------------------------------------

#只会执行第一个
sys.path.append(os.path.dirname(os.path.abspath(__file__)))  
execute(["scrapy", "crawl", "shanghaione"])  
time.sleep(30)  

sys.path.append(os.path.dirname(os.path.abspath(__file__)))  
execute(["scrapy", "crawl", "shanghaitwo"])