gerapy 爬虫web调度可视化工具(基于scrapyd)
web
基于scrapyd
提供主机管理功能
基于scrapyd管理已安装服务的主机。
进入具体主机管理页面,会自动加载所有已知爬虫任务;
可直接可以调度、运行、查看日志。
提供项目管理功能
将已知项目放到project目录下,可进行爬虫项目单台机器、多台机器部署。
提供项目代码在线编辑功能
提供任务管理功能
基于项目-爬虫的管理,可以构建爬虫调度任务。
目前支持三种类型调度,date、interval、cron(基本能满足日常需求)
Installation
注:从 Gerap
原创
2020-06-22 17:17:59 ·
660 阅读 ·
0 评论