scrapy项目部署

服务启动

选择一台主机当做服务器,安装并启动 scrapyd 服务

​服务端:pip install scrapyd

客户端:pip install scrapyd-client

启动服务:scrapyd,可以打开网址表示服务启动成功

 

项目部署

1.编辑需要部署的项目的scrapy.cfg文件,然后在该目录下执行以下命令进行项目部署

2.scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称

eg:scrapyd-deploy abcd -p  crawl_spider

3.部署成功后刷新页面

 

 执行任务

启动项目:

方式一:

curl http://localhost:6800/schedule.json -d project=项目名 -d spider=爬虫名

关闭项目:

curl http://localhost:6800/cancel.json -d project=项目名 -d job=项目的jobid

删除项目:

curl http://localhost:6800/delproject.json -d project=爬虫项目名称

方式二:

import requests

# 启动爬虫
url = 'http://localhost:6800/schedule.json'
data = {
	'project': 项目名,
	'spider': 爬虫名,
}
resp = requests.post(url, data=data)

# 停止爬虫
url = 'http://localhost:6800/cancel.json'
data = {
	'project': 项目名,
	'job': 启动爬虫时返回的jobid,
}
resp = requests.post(url, data=data)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

郑*杰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值