小白学爬虫笔记16---Scrapy 的常用命令

Scrapy的常用命令

Scrapy是为持续运行设计的专用爬虫框架，提供操作的Scrapy命令行

Scrapy命令行格式

>scrapy<command>[options][args]
command:Scrapy命令

Scrapy常用命令

• startproject
  • 说明：创建一个新工程
  • 格式：scrapy startproject <name>[dir]
• genspider
  • 创建一个爬虫
  • scrapy genspider[options]<name><domain>
• settings
  • 获得爬虫配置信息
  • scrapy settings[options]
• crawl
  • 运行一个爬虫
  • scrapy crawl<spider>
• list
  • 列出工程中所有爬虫
  • scrapy list
• shell
  • 启动URL调试命令行
  • scrapy shell [url]

Scrapy爬虫的命令行逻辑

为什么Scrapy采用命令行创建和运行爬虫？ * 命令行（不是图形界面）更容易自动化，适合脚本控制。 * 本质上，Scrapy是给程序员用的，功能（而不是界面）更重要。