14、Scrapy爬虫框架的全面指南

Scrapy爬虫框架的全面指南

1. Scrapy设置与测试

在Scrapy中，部分设置可在文档里查找、修改并取消注释。需注意，Scrapy不会采用精确的请求间隔，而是在这个间隔里添加随机偏移，以防爬虫被轻易检测和封锁。更多设置详情可参考：http://doc.scrapy.org/en/latest/topics/settings.html 。

要从命令行运行爬虫，可使用 crawl 命令加上爬虫名称，示例如下：

$ scrapy crawl country -s LOG_LEVEL=ERROR

此脚本运行结束后无输出。 -s LOG_LEVEL=ERROR 标志等同于在 settings.py 文件里定义 LOG_LEVEL = 'ERROR' 。默认情况下，Scrapy会把所有日志信息输出到终端，这里提高日志级别是为了只显示错误信息。无输出表明爬虫运行无错误。

若要从页面抓取内容，需在爬虫文件里添加几行代码。为构建和提取项目，要先使用 CountryItem 并更新爬虫规则。以下是更新后的爬虫代码：

from example.items import CountryItem
...
rules = (
    Rule(LinkExtractor(allow=r'/index/'), follow=True),
    Rule(L