scrapyd部署、使用Gerapy 分布式爬虫管理框架

Scrapyd部署爬虫项目

GitHub：https://github.com/scrapy/scrapyd

API 文档：http://scrapyd.readthedocs.io/en/stable/api.html

1、新建虚拟环境(方便管理)，并在虚拟环境中安装scrapy项目需要使用到的包。

创建：

python3 -m venv scrapySpider

查找：which python

激活：

source scrapySpider/bin/activate

(如果想删除，命令为： rm -rf venv)

2、安装scrapyd模块，scrapyd模块是专门用于部署scrapy项目的，可以部署和管理scrapy项目。

pip install scrapyd

3、输入scrapyd启动scrapyd服务、浏览器输入127.0.0.1:6800 即可查看。