scrapy-redis分布式爬虫的总结,scrapy爬虫部署总结
scrapyd相关介绍是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本scrapyd-client发布爬虫需要使用另一个专用工具,就是将代码打包为EGG文件,其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-client来帮助我们完成Scrapy构架图创建爬虫文件s...
原创
2019-09-22 19:34:52 ·
382 阅读 ·
0 评论