28、利用Scrapy构建强大的网络爬虫

利用Scrapy构建强大的网络爬虫

1. 初尝Scrapy爬虫

Scrapy是一个强大的网络爬虫框架，在初次使用时，我们可以看到它的高效性。例如，在一次爬取中，Scrapy在大约一秒内解析了900多个项目，日志显示所有项目都被成功解析并添加，且没有出现任何错误。

如果想要将爬取的数据输出到文件，可以使用内置的命令行参数。例如，运行以下命令：

scrapy crawl emo -o items.csv

这样，在爬取结束后，项目根目录下会生成一个 items.csv 文件，打开该文件，会发现所有数据都已以CSV格式导出。当然，也可以通过更改文件名来导出 .json 和 .xml 文件。

2. 定义爬取目标

接下来，我们尝试使用Scrapy的强大功能来爬取整个网站。以在PyPI主页上查找与抓取相关的Python包为例，我们需要先确定要爬取的数据。在页面上搜索“scrape”，会得到一系列结果，每个结果页面包含更多信息，如文档、相关包的链接、支持的Python版本以及近期下载量等。

我们可以围绕这些数据构建一个项目模型。为了方便，我们在之前的emoji爬虫文件夹中进行操作，首先修改 items.py 文件：

# -*- coding: utf-8 -*-
# Define here the models for your scrap