笔记十六:“点点点”就能做到的一款分布式爬虫管理框架——Gerapy
前言:在上两篇博客中,我们解决了大量信息的爬取问题分布式爬虫,用scrapy_redis把项目分别部署放到多个远程服务器上,提高了爬取数据的速度。又做到了使用scrapyd,在远程服务器上安装scrapyd,启动scrapyd服务,把scrapy项目通过scrapyd打包上传到远程服务主机上,然后我们就可以通过请求scrapyd提供的各种API去控制爬虫项目的运行、停止或删除等操作!...
原创
2018-10-03 15:05:39 ·
380 阅读 ·
0 评论