scrapy命令行

1.help

scrapy --help

输出帮助信息

 

2.scrapy version -v

查看组件版本号

 

3.startproject

创建一个项目

 

4.genspider

scrapy genspider aaa aaa.com

scrapy genspider bbb bbb.com

1）在工程中产生一个爬虫

2）一个工程中可以产生多个爬虫只要名字不同

 

5.view

scrapy view URL

查看页面源码在浏览器中显示的样子

parse

scrapy parse URL

在工程中使用固定的parse函数解析某个页面

用于查看自己写的parse函数的逻辑是否正确

 

6.shell(不需要具体工程)

scrapy shell URL

1)一个非常有用的命令，可用于调试数据、检查xpath、查看页面源码，

等等

2）实例：获取

http://www.dmoz.org/Computers/Programming/Languages/Python/Books/

中书的数量；

路径：

response.xpath('')

 

7.runspider

scrapy runspider 爬虫名.py -o xxx.csv

运行爬虫

 

8.bench

scrapy bench

执行一个基准测试：

可用来检测scrapy是否安装完整

 

转载于:https://www.cnblogs.com/zhengzhe/p/7768762.html