Python网络爬虫(二十)——Scrapy Shell

之前我们使用 Scrapy 简单实验了一下该框架，利用该框架确实使整个过程简单了很多，能够使用户更加专注于整体的实现而不是细枝末节。但是也有一点不太方便，就是在调试代码的代码的时候，需要等待较长的时间才能够看到结果，这也会影响整个开发的效率。而 Scrapy Shell 则可以部分解决该问题。

Scrapy Shell

启动

• 打开终端
• 进入到 Scrapy 项目所在的目录，执行命令：

scrapy shell domainname

示例

这里以下面的为例，简单说明 Scrapy Shell 的操作：

scrapy shell https://www.douban.com/note/760973143/

In [1]: title = response.xpath("//div[@class='note-header note-header-container']/h1/text()").get()

In [2]: print(title)
看故园风物仍是旧时样

In [3]: author = response.xpath("//div[@class='note-header note-header-container']//a[@class='note-author']/text()").get
   ...: ()

In [4]: print(author)
双棹入江泛金风

In [5]: exit()

其实，这算是在 python 环境中进行操作，只是由于 Scrapy 的存在，会提前导入了某些包和构建了某些变量。当然也可以导入其它包，构建其它变量。