Scrapy的安装与使用

安装Scrapy

Scrapy依赖于Python、开发库（dev）和pip。
pip是作为python包索引器easy——install的替代品，用于安装和管理python包。

• 1.为了能够保证下面的安装能够成功，我们先执行：sudo apt-get install python-dev
• 2.再执行：sudo apt-get install libevent-dev
  注：如果不安装上面两个以来包可能会出现一些错误，导致后面的工作没法正常进行。
• 3.接下来安装pip，执行：sudo apt-get install python-pip。
• 4.最后，安装Scrapy，执行：sudo pip install Scrapy。
  注：“S”的大小写没有关系

使用Scrapy

• 1.我们用命令新建一个scrapy项目“scrapytest”，以便来检验Scrapy是否安装成功，执行：sudo scrapy startproject scrapytest。
• 2.进入scrapytest目录，执行：cd scrapytest。
  每个文件或文件夹的概要如下：
  （1）scrapy.cfg：项目配置文件
  （2）scrapytest/：主目录下的另一个文件夹。这个目录包含了项目的python代码
  （3）scrapytest/items.py： 包含了将由蜘蛛爬取的项目
  （4）scrapytest/pipelines.py ：管道文件
  （5）scrapytest/settings.py ：项目的配置文件
  （6）scrapytest/spiders/：包含了用于爬取的蜘蛛