windows系统下利用scrapyd部署爬虫(scrapy)项目

1:首先python环境已经配置好
2:然后准备一个可以支持scrapy项目运行的虚拟环境,我再本地安装了python3 和Anaconda
a:在这里插入图片描述mkvirtualenv --D:\python\Anaconda\anaconda–tool\python.exe env(虚拟环境名称)
b:然后进入虚拟环境下载安装scrapyd,和scrapyd-client两个包
3:进行部署
a:在虚拟环境中的scrapts文件下有个scrapyd-deploy文件,但是该文件只能在Linux下打开,因此要自己在该文件下新建一个scrapyd-deploy.bat文件,在这里插入图片描述
上面的部分是设置当前虚拟环境的路径
b:修改scrapy爬虫项目的scrapy.cfg文件
[settings]
default = KaoLA.settings

[deploy:project(项目名称,后面部署会用到)]
url = http://localhost:6800/ #将注释打开
project = KaoLA #项目名称
c:在虚拟环境下进入到爬虫项目文件夹下
在这里插入图片描述
上面两条命令是测试环境scrapyd是否成功
d:执行打包上传命令
–scrapyd-deploy 项目名称(在scrapy.cfg中设置的)-p 爬虫项目名

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值