scrapy middlewares process_request/response不同返回值的分析

  最近学习scrapy爬虫框架,领略到中间件的强大作用,随机设置UA、设置代理、对接selenium等,但是对于process_request以及process_response的返回值和他们的作用不是很理解,网上的解释也十分笼统,如下截屏:
在这里插入图片描述
今天我做了一个相关的测试,详细看看不同返回值scrapy是如何处理的。
主函数如下:
在这里插入图片描述

process_request

- 返回None
代码如下:
在这里插入图片描述
结果如下:
在这里插入图片描述
可以看到,打印了这是第一次请求,并且输出了百度的官网源代码,程序与我们想的一样,process_response打印源码并且返回给引擎,然后可以调用parse函数对其进行提取数据。

- 返回Request
代码如下:
在这里插入图片描述
记得返回request的时候需要把dont

评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值