Python爬虫重定向问题scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302)

李甜甜~

已于 2022-09-07 09:37:12 修改

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： # python 错误集锦文章标签：爬虫 scrapy

于 2022-09-07 09:35:55 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_41586246/article/details/126738642

python 错误集锦专栏收录该内容

12 篇文章

订阅专栏

在进行网页爬取时，遇到需要输入验证码的情况。在填写验证码并获取cookie后，尝试将cookie传递给后续链接，但第三层链接仍然重定向到验证码页面。经过分析，可能是cookie未正确传递。为解决此问题，在Scrapy请求时添加了cookies参数，并设置了dont_filter=True以防止请求被过滤，确保cookie能被用于所有后续请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，问题描述

爬取的时候需要填入验证码，使用工具填写完验证码后获得了cookie传给第二层链接，但爬第三层链接的时候，重定向到了验证码页面

2，猜测

可能是因为cookie没有传给第三层

3，解决

请求时，加入cookie，cookies=self.cookies_dict，同时加入dont_filter=True

作用：dont_filter=True 参数，这样 Scrapy 就不会过滤掉重复的请求。

yield scrapy.Request(url=items['url'], callback=self.get_details, cookies=self.cookies_dict, meta={"items": copy.deepcopy(items)}, dont_filter=True)