scrapy项目部署

服务启动

选择一台主机当做服务器，安装并启动 scrapyd 服务

​服务端：pip install scrapyd

客户端：​ pip install scrapyd-client

启动服务：scrapyd，可以打开网址表示服务启动成功

 

项目部署

1.编辑需要部署的项目的scrapy.cfg文件，然后在该目录下执行以下命令进行项目部署

2.scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称

eg：scrapyd-deploy abcd -p  crawl_spider

3.部署成功后刷新页面

 

 执行任务

启动项目：

方式一：

curl http://localhost:6800/schedule.json -d project=项目名 -d spider=爬虫名

关闭项目：

curl http://localhost:6800/cancel.json -d project=项目名 -d job=项目的jobid

删除项目：

curl http://localhost:6800/delproject.json -d project=爬虫项目名称

方式二：

import requests

# 启动爬虫
url = 'http://localhost:6800/schedule.json'
data = {
	'project': 项目名,
	'spider': 爬虫名,
}
resp = requests.post(url, data=data)

# 停止爬虫
url = 'http://localhost:6800/cancel.json'
data = {
	'project': 项目名,
	'job': 启动爬虫时返回的jobid,
}
resp = requests.post(url, data=data)