调试总结 scrapy

Scrapy终端(Shell)

尽管 parse 命令对检查spider的效果十分有用，但除了显示收到的response及输出外， 其对检查回调函数内部的过程并没有提供什么便利。 如何调试 parse_detail 没有收到item的情况呢？

幸运的是，救世主 shell 出现了(参考 在spider中启动shell来查看response):

from scrapy.shell import inspect_response

def parse_details(self, response):
    item = response.meta.get('item', None)
    if item:
        # populate more `item` fields
        return item
    else:
        inspect_response(response, self)

参考 在spider中启动shell来查看response
在浏览器中打开

有时候您想查看某个response在浏览器中显示的效果，这是可以使用 open_in_browser 功能。下面是使用的例子:

from scrapy.utils.response import open_in_browser

def parse_details(self, response):
    if "item name" not in response.body:
        open_in_browser(response)

open_in_browser 将会使用Scrapy获取到的response来打开浏览器，并且调整 base tag 使得图片及样式(style)能正常显示。