这篇博客咱们聊聊 scrapy 中的 Downloader Middleware ，即下载中间件相关知识。
Downloader Middlerware
首先看一下中间件在 scrapy 数据流中的位置，下图黑色箭头即下载中间件。
结合上图就能看出来， Requests 和 Response 都会通过 Downloader Middlerware，所以在后续代码编写的时候需要注意该点。
中间件的开启非常简单，只需要在 settings.py 文件中去除下述代码的注释即可。
DOWNLOADER_MIDDLEWARES = {
'mid_test.middlewares.MidTestDownloaderMiddleware': 
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
