网络爬虫 - scrapy入门（十三）

---

一、scrapy简介

Scrapy是一个使用Python语言（基于Twisted框架）编写的开源网络爬虫框架，目前由Scrapinghub Ltd维护。Scrapy简单易用、灵活易拓展、开发社区活跃，并且是跨平台的。在Linux、MacOS以及Windows平台都可以使用。

1. 网络爬虫

网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引
擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。

一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据，解析数据， 保存数据

1. 请求数据

请求的数据除了普通的HTML之外，还有 json 数据、字符串数据、图片、视频、音频等。

2. 解析数据

当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有csv、json、pickle等

3. 保存数据

最后将数据以某种格式（CSV、JSON）写入文件中，或存储到数据库（MySQL、MongoDB）中。同时保存为一种或者多种。

通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联系，一个页面中可能包含一个或多个
到其他页面的链接，提取完当前页面中的数据后，还要把页面中的某些链接也提取出来，然后对链接页面进行爬取（循环1-3步
骤）。

设计爬虫程序时，还要考虑防止重复爬取相同页面（URL去重）、网页搜索策略（深度优先或广度优先等）、爬虫访问边界限
定等一系列问题。

从头开发一个爬虫程序是一项烦琐的工作，为了避免因制造轮子而消耗大量时间，在实际应用中我们可以选择使用一些优秀的爬
虫框架，使用框架可以降低开发成本，提高程序质量，让我们能够专注于业务逻辑（爬取有价值的数据）。接下来，就带你学习目前非常流行的开源爬虫框架Scrapy。

2. scrapy安装

scrapy官网：https://scrapy.org/
scrapy中文文档：https://www.osgeo.cn/scrapy/intro/overview.html

1. 安装方式

在任意操作系统下，可以使用pip安装Scrapy，例如：

pip install scrapy

安装完成后，在终端上输入scrapy 进行验证是否成功

在终端输入 scrapy bench 测试连通性，如果出现以下情况表示安装成功：

通过了以上两项检测，说明Scrapy安装成功了。

注意：成功安装后，在CMD下运行scrapy出现上图不算真正成功，检测真正是否成功使用scrapy bench测试，如果没有提示错误，就代表成功安装。

具体Scrapy安装流程参考：http://doc.scrapy.org/en/latest/intro/install.html##intro-install-platform-notes 里面有各个平台的安装方法

2. 全局命令

scrapy

Scrapy 2.13.1 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test   # 测试电脑性能
  fetch         Fetch a URL using the Scrapy downloader    # 将源代码下载下来并显示出来
  genspider     Generate new spider using pre-defined templates   # 创建一个新的 spider 文件
  runspider     Run a self-contained spider (without creating a project)   # 这个和通过crawl启动爬虫不同，scrapy runspider 爬虫文件名称
  settings      Get settings values    # 获取当前的配置信息
  shell         Interactive scraping console   # 进入 scrapy 的交互模式
  startproject  Create new project   # 创建爬虫项目
  version       Print Scrapy version   # 显示scrapy框架的版本
  view          Open URL in browser, as seen by Scrapy   # 将网页document内容下载下来，并且在浏览器显示出来

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

项目命令

• scrapy startproject projectname（创建一个项目）
• scrapy genspider spidername domain（创建爬虫。创建好爬虫项目以后，还需要创建爬虫）
• scrapy crawl spidername（运行爬虫。注意该命令运行时所在的目录）

3. 第一个scrapy爬虫

1. 项目需求

在专门供爬虫初学者训练爬虫技术的网站（http://quotes.toscrape.com）上爬取名言警句。

2. 创建项目

在开始爬取之前，必须创建一个新的 Scrapy 项目。 进入您打算存储代码的目录中，运行下列命令：

scrapy startproject quotes F:\

首先切换到新建的爬虫项目目录下，也就是 /quotes 目录下。然后执行创建爬虫文件的命令：
tree /F

3. robots.txt

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的网络蜘
蛛，此网站中的哪些内容是不应被搜索引擎的爬虫获取的，哪些是可以被爬虫获取的。

robots 协议并不是一个规范，而只是约定俗成的。在quotes中的settings.py

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

4. 分析页面

编写爬虫程序之前，首先需要对待爬取的页面进行分析，主流的浏览器中都带有分析页面的工具或插件，这里我们选用Chrome浏览器的开发者工具（Tools→Developer tools）分析页面。

数据信息
在Chrome浏览器中打开页面http://quotes.toscrape.com，然后选择“Elements”，查看其HTML代码。

可以看到每一个标签都包裹在

标签中

5. 编写spider

分析完页面后，接下来编写爬虫。在Scrapy中编写一个爬虫，在scrapy.Spider 中编写代码

Spider 是用户编写用于从单个网站(或者一些网站)爬取数据的类。

其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成 item 的方法。

为了创建一个Spider，您必须继承 scrapy.Spider 类， 且定义以下三个属性：

1. name： 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
2. start_urls： 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
3. parse()：是 spider 的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该
   函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

import scrapy

class QuoteSpider(scrapy.Spider):
    name = 'quote'
    allowed_domains = ['quotes.com']
    start_urls = ['http://quotes.toscrape.com/']
    
    def parse(self, response):
        pass

下面对 quote 的实现做简单说明。

重点：

1. scrapy.Spider：爬虫基类，每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。
2. name是爬虫的名字，是在genspider的时候指定的。
3. allowed_domains 是爬虫能抓取的域名，爬虫只能在这个域名下抓取网页，可以不写。
4. start_urls 是Scrapy抓取的网站，是可迭代类型，当然如果有多个网页，列表中写入多个网址即可，常用列表推导式的形式。
5. parse 称为回调函数，该方法中的response就是start_urls网址发出请求后得到的响应。当然也可以指定其他函数来接收响应。一个页面解析函数通常需要完成以下两个任务：
   （1）提取页面中的数据（re、XPath、CSS选择器）
   （2）提取页面中的链接，并产生对链接页面的下载请求。
   页面解析函数通常被实现成一个生成器函数，每一项从页面中提取的数据以及每一个对链接页面的下载请求都由yield语句提交给Scrapy引擎。

6. 解析数据