使用 scrapyd 部署 scrapy

安静的镜子

已于 2024-05-11 17:44:19 修改

阅读量516

点赞数 2

文章标签： scrapy

于 2024-05-08 15:56:18 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_42883164/article/details/138574304

版权

1.scrapyd 是什么？
Scrapyd 是一个用于部署和运行 Scrapy 爬虫项目的服务器应用程序。它使得你可以通过 HTTP 命令来部署、管理和执行多个 Scrapy 爬虫，非常适合持续集成和生产环境中的爬虫部署。
2.安装scrapyd 并使用
2.1 安装 scrapyd

F:\scrapydTest>pip install scrapyd

在这里插入图片描述
2.2 启动scrapyd

F:\scrapydTest>scrapyd

在这里插入图片描述
2.3修改配置文件，并添加 bat 文件

添加bat 文件：D:\Python\Python310\ 是python安装路径

@echo off
"D:\Python\Python310\python.exe" 
"D:\Python\Python310\Scripts\scrapyd-deploy" %*

执行 scrapyd 效果
在这里插入图片描述
2.4 安装客户端并运行客服端

F:\scrapydTest>pip install scrapyd-client

运行客服端

F:\scrapydTest>scrapyd-deploy
Error: no Scrapy project found in this location

2.5 部署项目到 scrapyd ，进入 scrapy 项目，修改配置.cfg
命令：scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称

在这里插入图片描述

在这里插入图片描述

可用浏览器直接访问：

http://localhost:6800/listjobs.json?project=itcastScrapy

在这里插入图片描述

运行 scrapyd 命令:scrapyd
把项目部署到scrapyd： scrapyd-deploy itcast -p itcastScrapy

scrapydWeb

安装
pip install scrapydweb
pip install logparser
pip install pywin32 （针对windows）
参考：https://blog.youkuaiyun.com/chang995196962/article/details/116196854

参考文档：https://blog.youkuaiyun.com/weixin_44799217/article/details/122211609

以上是scrapyd 部署scrapy 项目的简单应用，目前正在学习scrapyd 相关知识，大家有相关内容的学习资料可以评论共享哦