python scrapy定时任务apscheduler

宇宙全能王

于 2022-08-08 14:34:26 发布

阅读量699

点赞数

分类专栏： python 文章标签： python scrapy 开发语言

本文链接：https://blog.youkuaiyun.com/chang1976272446/article/details/126226962

版权

python 专栏收录该内容

114 篇文章

订阅专栏

该博客介绍了一种方法，通过APScheduler库在每周一到周五的早上8点自动运行Scrapy爬虫。文章详细展示了如何配置 BlockingScheduler 来实现这一定时任务，从而实现计划性的数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import subprocess
from apscheduler.schedulers.blocking import BlockingScheduler
 
 
def start_scrapy():
    subprocess.run(['scrapy','crawl','your_spider_name'])
 
 
sched.add_job(start_scrapy, 'cron', day_of_week='mon-fri', hour=8) # 每周一到周五的早上8点执行任务
sched.start()