在本篇分享中，假定您已经安装好Scrapy。如若不然，请参考 Scrapy安装 。接下来将通过爬取scrapy官方提供的一个网站，演示如何利用scrapy爬取网页信息。可能有的朋友有疑问，之前已经介绍过requests库，为啥还要用scrapy呢？简单来讲就是requests库适合小批量爬取网页内容，如若需要高频次、大批量爬取网页还是scrapy比较好用，而且很多公司要求熟练掌握scrapy框架，所以技多不压身嘛，接下来咱们就好好学学scrapy。
爬取流程分析
目标网站：http://quotes.toscrape.com/
爬取目标：获取所有名言、其作者和标签
爬取流程：首先获取首页目标信息，其次注意到页面中存在下一页的链接，采用递归调用的方式进行翻页爬取，最后保存爬取信息。
接下来介绍如何用scrapy框架实现以上流程。
创建项目
在开始爬取之前，您必须创建一个新的Scrapy项目。 在命令窗口中进入您打算存储代码的目录中，运行下列命令:
scrapy startproject tutorial quotes.toscrape.com该命令将会创建包含下列内容的 tutorial 目录:
tutorial/ scrapy.cfg tutorial/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ...
这些文件分别是:
scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.
定义Item
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个Item。 (如果不了解ORM, 不用担心，您会发现这个步骤非常简单)
首先根据需要从quotes.toscrape获取到的数据对item进行建模。 我们需要从quotes.toscrape中获取名言，作者以及标签。 对此，在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:
import scrapy
class QuoteItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
text = scrapy.Field()
author = scrapy.Field()
tags = scrapy.Field()
一开始这看起来可能有点复杂，但是通过定义item，您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item的定义。
编写第一个爬虫（Spider）
命令窗口中，在 tutorial/spiders 目录下，输入命令：
scrapy genspider quotes quotes.toscrape.com
在该目录下得到quotes.py文件，初始代码如下：
# -*- coding: utf-8 -*-
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
allowed_domains = ["quotes.toscrape.com"]
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
pass完成爬取任务的完整代码如下：
# -*- coding: utf-8 -*-
import scrapy
from quotetutorial.items import QuoteItem
class QuotesSpider(scrapy.Spider):
# spider的名字，该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
name = "quotes"
allowed_domains = ["quotes.toscrape.com"]
# 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
start_urls = ['http://quotes.toscrape.com/']
# parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
def parse(self, response):
# 从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制，有以下四个基本方法：
#1. xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
#2. css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
#3. extract(): 序列化该节点为unicode字符串并返回list。
#4. re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
quotes = response.css('.quote')
for quote in quotes:
item = QuoteItem()
text = quote.css('.text::text').extract_first()
author = quote.css('.author::text').extract_first()
tags = quote.css('.tags .tag::text').extract()
item['text'] = text
item['author'] = author
item['tags'] = tags
yield item
# 获取下一页的链接
next = response.css('.pager .next a::attr(href)').extract_first()
# 补全链接
url = response.urljoin(next)
# 利用Request函数实现递归调用parse解析下一页内容
yield scrapy.Request(url=url, callback=self.pars提取数据
从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制，有以下四个基本方法：
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
extract(): 序列化该节点为unicode字符串并返回list。
re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
具体的用法及语法格式可查看：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/selectors.html#topics-selectors
爬取并保存爬取到的数据
进入项目根目录，执行以下命令启动爬虫：
scrapy crawl quotes -o items.json #保存为json格式
scrapy crawl quotes -o items.jl #保存为json格式
scrapy crawl quotes -o items.csv #保存为json格式
这是简单的保存几种数据的方法，后面分享如何将数据保存到MongoDB数据库中。
小结
本次分享简单介绍Python重要的爬虫框架scrapy如何入门，如何创建项目，编写第一个爬虫，提取数据，保存数据，后面会用scrapy框架编写一个爬取新闻的爬虫，届时将分享如何将数据保存到MongoDB数据库中。
1万+
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
