[scrapy]赶集网爬虫之验证码重定向问题

最新推荐文章于 2022-05-20 01:36:19 发布

ClaireWJQ

最新推荐文章于 2022-05-20 01:36:19 发布

阅读量803

点赞数

CC 4.0 BY-SA版权

分类专栏： python 爬虫文章标签：爬虫 scrapy

本文链接：https://blog.youkuaiyun.com/qq_17832003/article/details/98957895

python 同时被 2 个专栏收录

4 篇文章

订阅专栏

爬虫

2 篇文章

订阅专栏

本文介绍了一种解决赶集网爬虫被重定向到特定URL的问题的方法。通过自定义Scrapy中间件，重写_redirect函数，可以将重定向的URL替换为原始请求的URL，有效避免了爬虫被网站的反爬机制所拦截。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫框架：

scrapy

问题：

赶集网爬虫被重定向到 “.*callback.ganji.com.*”

解决方法：

MiddleWares.py中，继承RedirectMiddleware，重写_redirect函数，修改redirected.url为正确的网址，就完事了。

class ThreatDefenceRedirectMiddleware(RedirectMiddleware):
    def _redirect(self, redirected, request, spider, reason):
        # 如果没有特殊的防范性重定向那就正常工作
        if 'callback' in redirected.url:
            o_redirected_url = redirected.url
            correct_url = request.meta['page_url']
            redirected = redirected.replace(url=correct_url)
            logging.debug(f'[防范性重定向处理] 原链接：{o_redirected_url}。新链接：{redirected.url}')
        return super()._redirect(redirected, request, spider, reason)

    def is_threat_defense_url(self, url):
        return 'callback' in url

解释说明：

request.meta['page_url'] 为原网址，需在生成请求时添加到meta中。

参考：

https://www.jianshu.com/p/be856bc15afb