python2 和python3 共存 scrapy 启动问题

最新推荐文章于 2021-09-25 10:57:21 发布

金字塔的旅行

最新推荐文章于 2021-09-25 10:57:21 发布

阅读量1.2k

点赞数

分类专栏： scrapy 文章标签： scrapy 定时爬虫

本文链接：https://blog.youkuaiyun.com/csdn_am/article/details/79729307

版权

scrapy 专栏收录该内容

2 篇文章

订阅专栏

本文探讨了如何在Python2和Python3共存的环境中，正确启动Scrapy爬虫项目。通过使用`python3 -m scrapy crawl 工程名称`命令来确保使用Python3运行Scrapy。同时，介绍了利用schedulers框架实现Scrapy项目的定时循环执行，以自动化爬取任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python3 -m scrapy crawl 工程名称

python -m scrapy crawl 工程名称

定时循环执行scrapy 项目，用schedulers框架

from scrapy.cmdline import  execute
import os
from apscheduler.schedulers.blocking import BlockingScheduler
# execute(["scrapy","crawl","工程名称"]) 注：此命令只执行一次，不会循环

def start ():
    setreq.set_request()
    cmd='python3 -m scrapy crawl jmd'
    os.system(cmd)



if __name__ == '__main__':
    start()
    sched=BlockingScheduler()
    sched.add_job(start,'cron',day='*',hour='1')
    print('每天一点执行')
    sched.start()