超级会员免费看
本文详细介绍了如何使用Scrapy框架进行网络爬虫开发，并将抓取的数据保存到数据库中。首先，阐述了Scrapy的结构和中间件的作用，包括下载器中间件与爬虫中间件的功能及常用方法。接着，通过一个京东爬虫实例展示了如何配置关键词、数据库以及具体抓取和解析过程。最后，给出了执行爬虫命令查看结果的步骤。
上一篇文章中简单地讲述用scrapy进行简单爬虫流程
https://blog.youkuaiyun.com/reset2021/article/details/124449231?spm=1001.2014.3001.5502
这里在上篇文章的基础上讲述怎样用scrapy实现爬虫，并且保存到数据库中。
1、scrapy框架
scrapy框架如下图所示：
其中，包含两个中间件：下载器中间件（Downloader Middleware）和爬虫中间件（Spider Middleware）。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。
1) downloader Middleware</
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
