39.爬虫管理模块总结

最新推荐文章于 2025-09-11 23:24:48 发布

转载最新推荐文章于 2025-09-11 23:24:48 发布 · 97 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lvjing/p/9836398.html

文章标签：

#爬虫 #python

39.爬虫管理模块总结

Scrapy 爬虫项目管理:
Scrapyd、scrapyd-client、Gerapy、spiderkeeper
————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
1.scrapyd 是一个用于部署和运行scrapy项目的工具，通过它，可将写好的项目放到云主机并通过API控制运行。

————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————

2.scrapyd-client

将项目代码部署打包 scrapyd-deploy -h

3.Gerapy

Gerapy 是一个Scrapy分布式管理模块。