创新实训(2)-Scrapy 学习

创新实训(2)-Scrapy 学习

参考资料：Scrapy 0.25 文档

1.Scrapy简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。因为是一个应用程序框架所以不需要从零开始编写代码，只需要根据自己的需求自定义一小部分即可，使用起来非常方便，灵活。

2.基本概念

• Item:是需要自己定义的，需要爬取的数据
• Spider：定义如何从一个URL返回的页面中提取数据的规则
• Pipeline：定义处理数据的管道，即如何处理获取到的数据

3.安装

pip install Scrapy

如果在国内下载比较慢的话可以考虑使用国内的pypi源，我个人比较习惯使用豆瓣的源。

临时使用非常简单：

pip install Scrapy -i https://pypi.doubanio.com/simple/

4. 创建一个Scrapy项目

使用命令行进行创建

scrapy startproject tutorial

这将创建一个名为tutorial的目录

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

• scrapy.cfg: 项目的配置文件
• tutorial/: 该项目的python模块。之后您将在此加入代码。
• tutorial/items.py: 项目中的item文件.
• tutorial/pipelines.py: 项目中的pipelines文件.
• tutorial/settings.py: 项目的设置文件.
• tutorial/spiders/: 放置spider代码的目录.

4.1 定义Item

Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

举个例子，假设我们要爬取博客园的文章的标题和链接，可以在items.py文件中写入如下代码。

import scrapy

class CnblogItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()

4.2 编写爬虫(Spider)

<