本文介绍了Scrapy架构中的SpiderMiddleware，详细阐述了其核心方法及作用，包括process_start_requests、process_spider_input、process_spider_output和process_exception。通过实例展示了如何使用和自定义中间件，如限制爬取深度、处理HTTP错误、控制离站请求等。最后，提供了一个简单的Python爬虫案例，用于爬取中国社区网的数据并保存到CSV文件。
本篇博客补充一下 scrapy 中的 SpiderMiddlerware 相关用法。
scrapy 架构知识补充
在 scrapy 中所有的中间件都被当做类处理（管理这些中间件的类是 MiddlerwareManager），其大概可以分为四种。
DownloaderMiddlerware：下载中间件，其中包括方法process_request()，process_response()，process_exception()；SpiderMiddlerware：爬虫中间件，其中包括方法process_spider_input()，process_spider_output()，process_spider_exception()，process_start_requests()；ItemPipeline：数据管道，包括process_item()，open_spider()，close_spider()；Extension：其它扩展。
其中各部分被使用的场景依次如下：
DownloaderMiddlerware：执行请求响应相关问题，例如修改用户代理
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
