scrapyd 常用部署命令 & 远程监控 & 爬虫脚本

最新推荐文章于 2024-08-05 06:47:28 发布

原创最新推荐文章于 2024-08-05 06:47:28 发布 · 764 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #scrapy #scrapyd

Python 同时被 2 个专栏收录

43 篇文章

订阅专栏

Scrapy

10 篇文章

订阅专栏

本文详细介绍了Scrapy爬虫的部署流程，包括使用scrapyd进行部署、运行及停止的方法，配置允许外部访问的步骤，以及通过URL指令进行远程监控的具体操作。此外，还提供了循环任务和实时时间打印的实用脚本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 部署&运行

deploy: 部署scrapy爬虫程序

# scrapyd-deploy  部署服务器名 -p 项目名称
scrapyd-deploy  ubuntu -p douyu

run : 运行

#curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
curl http://127.0.0.1:6800/schedule.json -d project=douyu -d spider=dy

stop: 停止

#curl http://localhost:6800/cancel.json -d project=project_name -d job=jobid
curl http://127.0.0.1:6800/cancel.json -d project=douyu -d job=$1

二. 允许外部访问配置

定位配置文件： default_scrapyd.conf

find /home/wg -name default_scrapyd.conf

cd /home/wg/scrapy_env/lib/python3.6/site-packages/scrapyd

允许外部访问：

vim default_scrapyd.conf

bind_address = 0.0.0.0

三. 远程监控-url指令:

1、获取状态

http://127.0.0.1:6800/daemonstatus.json

2、获取项目列表

http://127.0.0.1:6800/listprojects.json

3、获取项目下已发布的爬虫列表

http://127.0.0.1:6800/listspiders.json?project=myproject

4、获取项目下已发布的爬虫版本列表

http://127.0.0.1:6800/listversions.json?project=myproject

5、获取爬虫运行状态

http://127.0.0.1:6800/listjobs.json?project=myproject

6、启动服务器上某一爬虫（必须是已发布到服务器的爬虫）

http://127.0.0.1:6800/schedule.json （post方式，data={"project":myproject,"spider":myspider}）

7、删除某一版本爬虫

http://127.0.0.1:6800/delversion.json

（post方式，data={"project":myproject,"version":myversion}）

8、删除某一工程，包括该工程下的各版本爬虫

http://127.0.0.1:6800/delproject.json（post方式，data={"project":myproject}）

四. 常用脚本

循环任务：

while true
do
    curl http://127.0.0.1:6800/schedule.json -d project=FXH -d spider=five_sec_info
    sleep 10
done

实时时间打印：

echo "$(date +%Y-%m-%d:%H:%M.%S), xx-spider定时启动--"