scrapyd+SpiderKeeper+supervisord爬虫部署与管理
本文介绍在CentOS7下部署爬虫,稳定运行爬虫,对爬虫提供Web管理。部署工具是Scrapy官方的scrapyd,Web管理程序是开源项目SpiderKeeper,最后用supervisord提供稳定运行。
scrapyd和scrapyd-client
scrapyd安装配置
Scrapyd是一个用来部署和运行Scrapy项目的应用,由Scrapy的开发者开发。其可以通过一个简单的Json AP...
原创
2019-03-13 15:03:00 ·
1297 阅读 ·
6 评论