潭州课堂25班:Ph201805201 爬虫高级 第九课 scrapyd 部署 (课堂笔记)

本文详细介绍了使用Rapyd进行Scrapy爬虫的部署和管理流程。包括如何安装和配置Scrapy服务,如何通过命令行操作启动、停止、监控爬虫任务,以及如何通过客户端进行远程操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

c

 

rapyd是 scrapy 的部署, 是官方提供的一个爬虫管理工具,

通过他可以非常方便的上传控制爬虫的运行,

安装 : pip install scapyd

他提供了一个json ,web, server

 

在命令行中输入scrapyd 回车,

给个本地请求:  curl http://localhost:6800

如果 是无界面的 linux ,可以通过端口转发

 python安装库的路径

vim进到该文件中 默认为127.0.0.1

这样就可以访问了,

 

还要安装个客户端, pin install scrapy client

在这个文件中配置服务信息

需要配置的就这两个,一个是服务器 ip, 一个是项目名,

 

列出可用的服务器

 

部署项目: scrapyd-deploy <target0> -p <project>--version<version>

 

 用最装箱单的方法写推送:scrapyd-deploy -p 项目名

 

 调用爬虫: curl http://localhost:6800/schedule.json -d project xxx -d spider=xx

xxx 是项目名,

xx 是爬虫的名字,在项目里的 spider 目录下的 xx.py 文件的名字

 

 取消爬虫: curl http://localhost:6800/cancer.json -d project xxx -d job=0000000

其中0000000表示这个爬虫的 jobid

 

 

 

列出所有的 job:      curl http://localhost:6800/listjobs.json?project=xxx

 其中 xxx 项目名

 

列出爬虫:      curl http://localhost:6800/listjobs.json?spider=xxx

 

删除项目: curl http://localhost:6800/delproject.json -d projec=xxxx -d version=

查scrapy 进程id

 

转载于:https://www.cnblogs.com/gdwz922/p/9801741.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值