云服务器部署scrapyd爬虫

Scrapyd部署爬虫项目

GitHub：https://github.com/scrapy/scrapyd

API 文档：http://scrapyd.readthedocs.io/en/stable/api.html

1、新建虚拟环境(方便管理)，并在虚拟环境中安装scrapy项目需要使用到的包。

创建虚拟环境：

python3 -m venv scrapySpider

查找：which python

激活虚拟环境：

source scrapySpider/bin/activate

删除虚拟环境： rm -rf venv

2、安装scrapyd模块，scrapyd模块是专门用于部署scrapy项目的，可以部署和管理scrapy项目。

pip install scrapyd

3、输入scrapyd启动scrapyd服务、浏览器输入127.0.0.1:6800 即可查看。