本文详细介绍Scrapy框架的架构，包括引擎、调度器、下载器、爬虫、管道和中间件的作用。通过实例演示如何创建项目、定义爬虫目标、编写爬虫代码和存储爬取内容。涵盖Scrapy安装方法、数据抓取流程和保存数据的多种方式。
学习Scrapy框架，研究了好久也只是初步阶段，碰到了不少的困难，写个小例子巩固一下。
Scrapy架构图(绿线是数据流向)
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader(下载器): 负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
Spider(爬虫): 它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Item Pipeline(管道)： 它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
Downloader Middlewares(下载中间件): 你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares(Spider中间件): 你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）。
制作 Scrapy 爬虫仅需要4步：
1、新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
2、明确目标 （编写items.py）：明确你想要抓取的目标
3、制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
4、存储内容 （pipelines.py）：设计管道存储爬取内容
工欲善其事必先利其器，下面啰嗦一些安装Scrapy的方法
安装：win+r->输入cmd->复制粘贴以下内容
Windows 安装方式
#升级 pip 版本：
pip install --upgrade pip
#通过 pip 安装 Scrapy 框架:
pip install Scrapy
若是升级失败，可以参考一下该文章：解决You are using pip version 19.0.3, however version 19.2.3 is available.问题
这地方用了好长时间才解决，痛苦 ?
Ubuntu 安装方式
#安装非 Python 的依赖:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
#通过 pip 安装 Scrapy 框架：
sudo pip install scrapy
Mac OS 安装方式
对于Mac OS系统来说，由于系统本身会引用自带的python2.x的库，因此默认安装的包是不能被删除的，但是你用python2.x来安装Scrapy会报错，用python3.x来安装也是报错，我最终没有找到直接安装Scrapy的方法，所以我用另一种安装方式来说一下安装步骤，解决的方式是就是使用virtualenv来安装。
$ sudo pip install virtualenv
$ virtualenv scrapyenv
$ cd scrapyenv
$ source bin/activate
$ pip install Scrapy
想要在别的盘安装，可以这样输入
输入dir可以查看硬盘中的文件，重复上面操作就可以保存在项目文件下。
安装后，在命令终端输入 scrapy，提示类似以下结果，代表已经安装成功
准备阶段完毕，接下来进入正题阶段
一、新建项目(scrapy startproject)
在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：
scrapy startproject mySpider
mySpider 为项目名称，相当于建立了一个mySpider的文件夹，目录结构大致如下：
mySpider/
scrapy.cfg #项目的配置文件。
mySpider/ #项目的Python模块，将会从这里引用代码。
__init__.py
items.py #项目的目标文件。
pipelines.py #项目的管道文件
settings.py #项目的设置文件
spiders/#存储爬虫代码目录。
__init__.py
...
二、明确目标(mySpider/items.py)
我们打算抓取 http://www.itcast.cn/channel/teacher.shtml 网站里的所有讲师的姓名、职称和个人信息。
打开 mySpider 目录下的 items.py。（直接在硬盘中用记事本、pycharm等的打开就可以）
接下来，创建一个 ItcastItem 类，和构建 item 模型（model）。
import scrapy
#以下类中的name、title、info是我们准备爬取的信息，对于不同网站可以增加或减少变量
class ItcastItem(scrapy.Item):
name = scrapy.Field()
title = scrapy.Field()
info = scrapy.Field()
三、制作爬虫 （spiders/itcastSpider.py）
爬虫主要分为两步
1、爬数据
在当前目录下输入命令，将在mySpider/spiders目录下创建一个名为itcast的爬虫，并指定爬取域的范围：
scrapy genspider itcast "itcast.cn"
打开 mySpider/spiders目录里的 itcast.py，默认增加了下列代码:
import scrapy
class ItcastSpider(scrapy.Spider):
name = "itcast"
allowed_domains = ["itcast.cn"]
start_urls = ( 'http://www.itcast.cn/', )
def parse(self, response):
pass
其实也可以由我们自行创建itcast.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦
要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性和一个方法。
1、name = “” ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
2、allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
3、start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
4、parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求。
进行下面修改：
start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)
def parse(self, response):
filename = "teacher.html"
open(filename, 'w').write(response.body)
然后运行一下看看，在mySpider目录下执行：
scrapy crawl itcast
当传回来的html文件都是空的时，把open函数中的"w"改成"wr"即可解决问题
是的，就是 itcast，看上面代码，它是 ItcastSpider 类的 name 属性，也就是使用 scrapy genspider命令的唯一爬虫名。
运行之后，如果打印的日志出现 [scrapy] INFO: Spider closed (finished)，代表执行完成。 之后当前文件夹中就出现了一个 teacher.html 文件，里面就是我们刚刚要爬取的网页的全部源代码信息。
注意: Python2.x默认编码环境是ASCII，当和取回的数据编码格式不一致时，可能会造成乱码；我们可以指定保存内容的编码格式，一般情况下，我们可以在代码最上方添加
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
这三行代码是 Python2.x 里解决中文编码的万能钥匙，大家使用Python3。
2、取数据
取数据需要一些前端基础，去找标签
爬取整个网页完毕，接下来的就是的取过程了，首先观察页面源码：
<div class="li_txt">
<h3> xxx </h3>
<h4> xxxxx </h4>
<p> xxxxxxxx </p>
xpath 方法，我们只需要输入的 xpath 规则就可以定位到相应 html 标签节点，详细内容可以查看 xpath 教程。
不会 xpath 语法没关系，Chrome 给我们提供了一键获取 xpath 地址的方法（右键->检查->copy->copy xpath）
谷歌浏览器现在点击需要的信息右键，检查就可以直接跳转。
这里给出一些 XPath 表达式的例子及对应的含义:
/html/head/title: 选择HTML文档中 标签内的
/html/head/title/text(): 选择上面提到的
//td: 选择所有的 元素
//div[@class=“mine”]: 选择所有具有 class=“mine” 属性的 div 元素
我们之前在 mySpider/items.py 里定义了一个 ItcastItem 类。 这里引入进来:
这个地方总是引不进去的话可以尝试复制items文件，找到Python的文件夹->Lib->site-packages
拷贝进去
from mySpider.items import ItcastItem
然后将我们得到的数据封装到一个 ItcastItem 对象中，可以保存每个老师的属性：
import scrapy
item文件的类
from mySpider.items import ItcastItem
class ItspidSpider(scrapy.Spider):
# 爬虫名，启动爬虫是需要的参数*必须
name = 'itcast'
# 爬取域范围，循序爬虫再这个域名下进行爬取（可选）
allowed_domains = ['itcast.cn']
# 起始url,爬虫执行后第一批请求，将从这个列表里获取
start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
def parse(self, response):
node_list = response.xpath("//div[@class='li_txt']")
# 存放老师信息的集合
items = []
for node in node_list:
# 将我们得到的数据封装到一个 `ItcastItem` 对象
item = ItcastItem()
#extract()方法返回的都是unicode字符串
name = node.xpath("./h3/text()").extract()
title = node.xpath("./h4/text()").extract()
info = node.xpath("./p/text()").extract()
#xpath返回的是包含一个元素的列表
item['name'] = name[0]
item['title'] = title[0]
item['info'] = info[0]
items.append(item)
# 直接返回最后数据
return items
最后还需要在setting文件里边设置一些东西：（不遵守爬虫协议）
ROBOTSTXT_OBEY = False
四、 保存数据
scrapy保存信息的最简单的方法主要有四种，-o 输出指定格式的文件，命令如下：
json格式，默认为Unicode编码
scrapy crawl itcast -o teachers.json
json lines格式，默认为Unicode编码
scrapy crawl itcast -o teachers.jsonl
csv 逗号表达式，可用Excel打开
scrapy crawl itcast -o teachers.csv
xml格式
scrapy crawl itcast -o teachers.xml
若csv格式乱码，在setting.py文件中加入以下语句即可：
FEED_EXPORT_ENCODING = 'utf-8-sig'
希望这篇文章对初学框架的有帮助，我也是初学，多多指教，有错的地方请大佬们斧正，谢谢。
相关作者链接：
https://blog.youkuaiyun.com/qq_43656233/article/details/97492148
https://segmentfault.com/a/1190000013178839#articleHeader8
https://blog.youkuaiyun.com/weixin_40569991/article/details/81296908
https://www.runoob.com/w3cnote/scrapy-detail.html
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
