本章介绍了Scrapy爬虫框架的基础知识，包括安装Scrapy的多个步骤，如在MacOS、Windows、Linux系统上安装，并讲解了如何使用Vagrant作为官方推荐的运行示例方式。内容涵盖了Scrapy的基本抓取流程，从URL开始，通过XPath表达式抽取Item，创建Scrapy项目，编写爬虫，填充Item，并保存数据。此外，还介绍了使用item loader和管理字段进行数据清洗，以及使用合同（contract）进行爬虫的初步测试。最后，通过实例展示了如何使用CrawlSpider实现双向爬取，实现水平和垂直方向的页面抓取。
第3章 爬虫基础
这是非常重要的一章，你可能会多次阅读本章，并且经常会在寻找解决方案时回到本章中。我们首先会介绍如何安装Scrapy，然后伴随若干示例及不同的实现，转向开发Scrapy爬虫的方法论。在开始之前，我们先来看一些重要的概念。
由于我们会快速进入有趣的代码部分，因此使用本书中代码片段的能力非常重要。当你看到如下内容时：
$ echo hello world
hello world
表示你在终端输入了echo hello word（忽略美元符号），接下来的一行或几行就是你在终端上面看到的输出。
我们将会混用“终端”、“控制台”和“命令行”这几个术语，它们在本书的背景下没有太大区别。请用Google搜索并找出如何启动你所使用的平台（Windows、OS X或其他）中的控制台。你也可以在附录A中找到详细的指引。
当你看到如下内容时：
>>> print 'hi'
hi
表示你在Python或Scrapy的shell提示符中
订阅专栏 解锁全文
扫一扫
65万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
