Scrapy spiders介绍_scrapy crawl spidername-优快云博客

本文深入解析了Spider的工作原理，详细介绍了Spider的基本结构、执行流程，以及不同类型的Spider，包括所有Spider的基类、传递参数的方法、通用Spider的功能和用法。同时，详细阐述了CrawlSpider、XMLFeedSpider、CSVFeedSpider和SitemapSpider等特定类型的Spider，以及它们各自的特点和应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spider用于定义一个网站会被如何爬取以及解析。

一个Spider爬取的周期通常包括这几步：

由初始URLS发出Request，并指定回调函数来处理response

The first requests to perform are obtained by calling the start_requests() method which (by default) generates Request for the URLs specified in the start_urls and the parse method as callback function for the Requests.
在回调函数中处理response并返回含提取出来的数据的dicts、Item或Request。这些Request同样会有回调函数并且会被下载然后由指定的回调函数处理
回调函数解析页面内容，通常是用Selectors(也可以用BeatifulSoup,lxml等)方法解析
将spider解析的数据存储下来，如数据库(使用Item Pipeline)或者文件(使用Feed exports)中。

虽说这几步适用于所有的spider，但是基于不同的目的仍然有多种spider存在。

1. 所有Spider的基类：scrapy.Spider

class scrapy.spiders.Spider

最简单的spider，是其它所有spider的基类。不提供任何特殊的功能，只提供了默认的`start_requests()`的实现，用于从`start_urls`发出request并调用`parse`方法处理返回的response。主要成员变量：

name spider名，同一个项目中的不同spider名字不能相同
allowed_domains 从爬取指定的域名
start_urls 起始URLS
custom_settings 自定义设置信息
crawler 指向绑定了当前spider的Crawler对象(links to the Crawler object to which this spider instance is bound)
settings 是Settings类的一个实例，含有spider的配置信息
logger 用name创建的logger，可以用来发送log信息

主要成员函数：

from_crawler(crawler,*args,**kwargs) scrapy用来创建spider的函数

statr_requests() 若没有指定URLS,调用star_requests；若指定了,调用make_requests_from_urls()来发出request。
如果你想要改变发送请求的方式，可以覆盖这个方法。例如，你想要用POST方式发请求：

class MySpider(scrapy.Spider):
name = ‘myspider’

def start_requests(self):
    return [scrapy.FormRequest("http://www.example.com/login",
                               formdata={'user': 'john', 'pass': 'secret'},
                               callback=self.logged_in)]

def logged_in(self, response):
    # here you would extract links to follow and return Requests for
    # each of them, with another callback
    pass

make requests_from_url(url)
parse(response) 默认回调函数

This method, as well as any other Request callback, must return an iterable of Request and/or dicts or Item objects.
log(message[,level,component])
closed(reason)

使用示例：

import scrapy


class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        self.logger.info('A response from %s just arrived!', response.url)

一个回调函数返回多个request和Items：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield {"title": h3}

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

你也可以不用`start_urls`，直接使用`statr_requests()`，同时为了让返回数据更结构化，你可以使用Items:

import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']

    def start_requests(self):
        yield scrapy.Request('http://www.example.com/1.html', self.parse)
        yield scrapy.Request('http://www.example.com/2.html', self.parse)
        yield scrapy.Request('http://www.example.com/3.html', self.parse)

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield MyItem(title=h3)

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

2. 给Spider传递参数

Spider可以接收参数来调整其运行方法。通常的用法是用来定义起始URLS或者限制spider的爬取范围，但是它也能用于配置spider的其他功能。 spider的参数通过`crawl`命令的`-a` 选项来传入。

scrapy crawl myspider -a category=electronics

Spider从构造函数中接受参数：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'

    def __init__(self, category=None, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.start_urls = ['http://www.example.com/categories/%s' % category]
        # ...

Spider arguments can also be passed through the Scrapyd schedule.json API. See Scrapyd documentation.

3. Generic Spiders：通用spider

Scrapy附带一些可以用来继承实现的有用的generic spider。它们的目的在于为不同的cases提供方便的功能，如following all links on a site based on certain rules, crawling from Sitemaps, or parsing an XML/CSV feed. 对于下面的的例子，我们假设在myproject.items中实现了TestItem：

import scrapy

class TestItem(scrapy.Item):
    id = scrapy.Field()
    name = scrapy.Field()
    description = scrapy.Field()

3.1 CrawlSpider

class scrapy.spiders.CrawlSpider

爬取普通网页最常用的spider，它提供了基于rules跟随Link的方便机制。除继承自scrapy.Spider的属性外，CrawlSpider还提供了一下属性：

rules 一个存放Rule的list。每个`Rule定义了一个爬取页面的规则。如果多个Rule匹配了同一个link，那么使用第一个。
parse_start_url(response) 处理从start_urls的返回的response(避免使用parse函数！)

Crawling rules:

class scrapy.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None)

link_extractor 一个Link Extractor对象，用于定义如何从爬到的页面提取link
callback
- 是一个callable或string(该spider中同名的函数将会被调用)。
- 从link_extractor中每获取到链接时将会调用该函数。
- 回调函数接受一个response作为其第一个参数，并返回一个包含 Item 以及(或) Request 对象(或者这两者的子类)的列表(list)。
- 不要使用parse函数作为回调函数，由于 CrawlSpider 使用 parse 方法来实现其逻辑，如果覆盖了 parse 方法，crawl spider 将会运行失败。
cb_kwargs 包含传递给回调函数的参数(keyword argument)的字典。
follow 是一个布尔值，指定了根据该规则从response提取的链接是否需要跟进。如果 callback 为None， follow 默认设置为 True ，否则默认为 False 。
process_links 是一个callable或string(该spider中同名的函数将会被调用)。从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤。
process_request 是一个callable或string(该spider中同名的函数将会被调用)。该规则提取到每个request时都会调用该函数。该函数必须返回一个request或者None。 (用来过滤request)

CrawSpider示例：

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # 提取匹配 'category.php' (但不匹配 'subsection.php') 的链接并跟进链接(没有callback意味着follow默认为True)
        Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

        # 提取匹配 'item.php' 的链接并使用spider的parse_item方法进行分析
        Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
    )

    def parse_item(self, response):
        self.log('Hi, this is an item page! %s' % response.url)

        item = scrapy.Item()
        item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
        item['name'] = response.xpath('//td[@id="item_name"]/text()').extract()
        item['description'] = response.xpath('//td[@id="item_description"]/text()').extract()
        return item

该spider将从example.com的首页开始爬取，获取category以及item的链接并对后者使用 parse_item 方法。当item获得返回(response)时，将使用XPath处理HTML并生成一些数据填入 Item 中。

3.2 XMLFeedSpider

class scrapy.contrib.spiders.XMLFeedSpider

用于通过迭代各个节点来分析XML源(XML feed)。

迭代器可以从 iternodes ， xml ， html 选择。鉴于 xml 以及 html 迭代器需要先读取所有DOM再分析而引起的性能问题，一般还是推荐使用 iternodes 。不过使用 html 作为迭代器能有效应对错误的XML。

使用XMLFeedSpider需要定义下列类属性来设置迭代器以及标签名(tag name):

iterator
用于确定使用哪个迭代器的string。可选项有:
- iternodes - 一个高性能的基于正则表达式的迭代器
- html - 使用 Selector 的迭代器。需要注意的是该迭代器使用DOM进行分析，其需要将所有的DOM载入内存，当数据量大的时候会产生问题。
- xml - 使用 Selector 的迭代器。需要注意的是该迭代器使用DOM进行分析，其需要将所有的DOM载入内存，当数据量大的时候会产生问题。
- 默认值为 iternodes 。
itertag 一个包含开始迭代的节点名的string。例如:itertag = 'product'
namespaces 一个由 (prefix, url) 元组(tuple)所组成的list。其定义了在该文档中会被spider处理的可用的namespace。 prefix 及 uri 会被自动调用 register_namespace() 生成namespace。
可以通过在 itertag 属性中制定节点的namespace。

class YourSpider(XMLFeedSpider):
```
namespaces = [('n', 'http://www.sitemaps.org/schemas/sitemap/0.9')]
itertag = 'n:url'
# ...
```
adapt_response() 该方法在spider分析response前被调用。您可以在response被分析之前使用该函数来修改内容(body)。该方法接受一个response并返回一个response(可以相同也可以不同)。
parse_node() 当节点符合提供的标签名时(itertag)该方法被调用。接收到的response以及相应的 Selector 作为参数传递给该方法。该方法返回一个 Item 对象或者 Request 对象或者一个包含二者的可迭代对象(iterable)。
process_results() 当spider返回结果(item或request)时该方法被调用。设定该方法的目的是在结果返回给框架核心(framework core)之前做最后的处理，例如设定item的ID。其接受一个结果的列表(list of results)及对应的response。其结果必须返回一个结果的列表(list of results)(包含Item或者Request对象)。

XMLFeedSpider示例：

from scrapy import log
from scrapy.contrib.spiders import XMLFeedSpider
from myproject.items import TestItem

class MySpider(XMLFeedSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/feed.xml']
    iterator = 'iternodes' # This is actually unnecessary, since it's the default value
    itertag = 'item'

    def parse_node(self, response, node):
        log.msg('Hi, this is a <%s> node!: %s' % (self.itertag, ''.join(node.extract())))

        item = TestItem()
        item['id'] = node.xpath('@id').extract()
        item['name'] = node.xpath('name').extract()
        item['description'] = node.xpath('description').extract()
        return item

简单来说，我们在这里创建了一个spider，从给定的 start_urls 中下载feed，并迭代feed中每个 item 标签，输出，并在 Item 中存储有些随机数据。

3.3 CSVSpider

class scrapy.contrib.spiders.CSVFeedSpider

除了其按行遍历而不是节点之外其他和XMLFeedSpider十分类似。其在每次迭代时调用的是 parse_row() 。

delimiter 在CSV文件中用于区分字段的分隔符。类型为string。默认为 ','(逗号)。
quotechar A string with the enclosure character for each field in the CSV file Defaults to '"'(quotation mark).
headers 在CSV文件中包含的用来提取字段的行的列表。参考下边的例子。
parse_row() 该方法接收一个response对象及一个以提供或检测出来的header为键的字典(代表每行)。该spider中，您也可以覆盖 adapt_response 及 process_results 方法来进行预处理(pre-processing)及后(post-processing)处理。

CSVFeedSpider示例
下面的例子和之前的例子很像，但使用了 CSVFeedSpider:

from scrapy import log
from scrapy.contrib.spiders import CSVFeedSpider
from myproject.items import TestItem

class MySpider(CSVFeedSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/feed.csv']
    delimiter = ';'
    quotechar = "'"
    headers = ['id', 'name', 'description']

    def parse_row(self, response, row):
        log.msg('Hi, this is a row!: %r' % row)

        item = TestItem()
        item['id'] = row['id']
        item['name'] = row['name']
        item['description'] = row['description']
        return item