Scrapy的几个命令行命令

本文介绍了Scrapy中的多种命令,包括依赖于项目的命令如list和genspider,以及非依赖型命令如shell。此外还提到了runspider和bench命令的作用。

      Scrapy在命令行有许多直接可以使用的命令。命令可以分为两类,一类是依赖于工程的,一类是不依赖的。对于不依赖的,就当做是一个工具就行了,有点java里面静态方法的感觉,就是一个tool。

      依赖于工程的方法有这么几个。

1.list,进入工程文件夹之后,输入scrapy list就可以获取该工程下所有的爬虫名字。

2.genspider。顾名思义,就是用来产生爬虫的。也是一个依赖于工程的。前面记得加scrapy哦。在后面输入爬虫名字和随便输一个网站就可以了。你会发现在你的爬虫文件夹里面多了好多爬虫。


      下面介绍一个不依赖与工程的命令,shell,这是一个交互式调试工具,这么理解就可以了,具体怎么使用,后期有机会给大家详细说说,官方文档有说明呦。

      其他还有runspider、bench。前者可以独立运行一个能够自足的爬虫,也就是没有item和pipline类的爬虫。后者,就是一个测试用的东西,安装好scrapy之后,运行scrapy bench,就能知道你的scrapy有没有成功安装好了。


评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱塘小甲子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值