SpiderKeeper使用文档

最新推荐文章于 2020-09-01 10:17:14 发布

转载最新推荐文章于 2020-09-01 10:17:14 发布 · 407 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5d023d7df265da1bd4247ab7

文章标签：

#python

本文详细介绍了如何使用Scrapy、Scrapyd、SpiderKeeper等工具进行爬虫项目的部署和管理，包括环境搭建、配置文件修改、项目部署流程及定时任务设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install spiderkeeper
复制代码

scrapy.cfg文件配置
[settings]
default = crawler.settings

[deploy:worker]
url = http://0.0.0.0:6800/
project = crawler
复制代码

1.在crawler项目的第一级目录下执行
scrapyd

2.在spiderkeeper的manager目录(需新建)下执行
spiderkeeper

3.在crawler项目的第一级目录下执行
scrapyd-deploy --build-egg output.egg

4.浏览器打开
http://127.0.0.1:5000

5.创建项目，名字随意起，如：work

6.浏览器打开
http://127.0.0.1:5000/project/1/spider/deploy

7.选择output.egg文件并提交

8.添加任务，设置定时，然后跑起来
复制代码

转载于:https://juejin.im/post/5d023d7df265da1bd4247ab7