[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘XXX‘

最新推荐文章于 2024-03-24 07:00:00 发布
最新推荐文章于 2024-03-24 07:00:00 发布
阅读量578 收藏
点赞数 1
分类专栏： The world of bug 文章标签： python scrapy-redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaofengcanyuelong/article/details/109270753
版权

一、问题描述

scrapy-redis中使用RedisCrawlSpider类爬虫，以Rule规则来匹配地址，运行爬虫时出现错误:

[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'XXX'

二、解决

在settings.py中添加
SPIDER_MIDDLEWARES = { 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None, }

原因:
原因
Don’t cry because it is over, smile because it happened.

Scrapy爬虫框架 Spider Middleware 爬虫页中间件
Mr数据杨
09-15 431
在本教程中，我们详细介绍了 Scrapy 中 Spider Middlewares 的基本使用，通过这些中间件方法，开发者可以对爬虫的各个环节进行深度定制，从而更好地适应不同的数据抓取需求。无论是预处理响应数据、过滤或修改输出数据、捕获异常，还是动态调整请求流程，Spider Middlewares 都为爬虫行为的灵活管理提供了强大的工具。在实际应用中，这些中间件不仅能够提高爬虫的效率和可靠性，还能帮助你在复杂的爬虫项目中保持代码的简洁和模块化。
python爬虫学习日记(1) scrapy爬取时，报错Filtered offsite request
weixin_42523052的博客
06-22 1069
使用scrapy框架抓取某妹子图网时，只能抓取第一页，第二页报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.xxxx.com': <GET http://www.xxxx.com/ent/meinvtupian/list_11_2.html>度娘找到答案:因为 Request中请求...
昨天一个同事代码中报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
liuqingup的专栏
06-29 536
昨天我遇到了一个有趣的问题，一个同事的代码中出现了一个报错，报错信息为：[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to...
scrapy遇到的[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘XXX‘错误处理
qq_36220852的博客
12-08 996
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'XXX'错误处理方法
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
hongyd的博客
09-18 1517
出现以上问题的时候，是因为代码中设置了 allowed_domains = ['lab.scrapyd.cn/'] 可以注销这个声明，就好了
2018-12-06 18:09:55 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'weixin.so
weixin_42069074的博客
12-06 451
2018-12-06 18:09:55 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ‘weixin.sogou.com’: <GET http://weixin.sogou.com/weixin?query=python&sug_type =&s_from=input&su...
DEBUG: Filtered offsite request to
热门推荐
小米的博客
05-30 1万+
在做爬虫项目时，出现了一个问题，解析一个网站二次爬取时没有获取到数据，就写了一个测试程序试了下，测试程序如下import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass ZhenaiSpider(CrawlSpider):    name =...
Filtered offsite request to 'product.dangdang.com': <GET http://product.dangdang.com/29370653.html> 2023-06-12 09:56:35 [scrapy.core.engine] INFO: Closing spider (finished)解释
06-13
这是 scrapy 爬虫框架的运行日志，其中包含了一条被过滤掉的请求记录。该请求是向 "product.dangdang.com" 发送了一个 GET 请求，请求的 URL 是 "http://product.dangdang.com/29370653.html"。这个请求被过滤掉了，...
scrapy_redis分布式爬虫遇到的问题DEBUG: Filtered offsite request to
记忆是一座桥的博客
06-03 1242
一、遇到的问题:DEBUG: Filtered offsite request to 'www.99yiyuan.com': &lt;GET http://www.99yiy。。。二、解决方法：设置setting.py文件SPIDER_MIDDLEWARES = {    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,}如果您...
python爬虫scrapy框架今天踩得坑([scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'jobs.5)
weixin_43788061的博客
03-09 1935
今天用爬虫框架爬取前程51python职位，一直爬取不出详情页，下一页url和详情页url都没问题，但就是没显示详情页内容，也没有报错，后来发现中间出现一个信息DEBUG: Filtered offsite request to 'jobs.51job.com'如下图： 后来发现是因为首页的域名和详情页的域名不一致导致的如下图： 首页域名： 详情页域名： 而我写的是首页域名...
爬虫工作量由小到大的思维转变---＜第五十三章 Scrapy 降维挖掘---中间件系列(2)＞ (HttpErrorMiddleware、OffsiteMiddleware和RefererMiddl)
最新发布
晦涩难董先生
03-24 974
除了处理常见的HTTP状态码，我们还可以自定义处理特定的状态码。通过重写HttpErrorMiddleware的process_response方法，我们可以根据需要对其他状态码进行特定的处理，例如403（Forbidden）或429（Too Many Requests）。在自定义处理中，我们可以选择重新调度请求、记录日志、发送通知等。默认情况下，RefererMiddleware会自动设置请求的Referer头为其来源页面的URL。然而，有些网站的反爬虫机制可能对未知Referer头的请求进行过滤。
scrapy_ [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ’XXXX‘
jss19940414的博客
12-27 1044
问题描述： 在使用scrapy框架进行爬虫时，当解析完请求start_urls的响应进行二次访问的时候，出现了无法访问的情况，系统过滤 了我的请求 . # -*- coding: utf-8 -*- import scrapy class LuboavSpider(scrapy.Spider): name = 'photo' allowed_domains = ['htt...
Scrapy中间件(Middleware)
一个有趣、有料、有内涵的地方!
09-22 199
Spider中间件(Middleware) Spider中间件是介入到Scrapy的spider处理机制的钩子框架，您可以添加代码来处理发送给Spiders的r...
scrapy 爬网站 显示 Filtered offsite request to 错误.
feifly329的专栏
11-07 1万+
爬取zol 网站图片,无法抓取. 在 setting.py 文件中 设置 日志 记录等级 LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 查看日志 发现报 2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to 'bbs.zol.com.cn': 这条日志记录有点奇
scrapy运行时提示DEBUG: Filtered offsite request to
no_needle的博客
02-17 877
用scrapy爬取数据时，使用yield scrapy.Requeste()不能把数据传到下一个解析函数时，提示Filtered offsite request to [域名] 说明此时你请求的域名list.suning.com跟你起始设置的allowed_domains = ['book.suning.com']中的域名不一样，系统自动过滤掉与设置域名不一样的域名了，这里有两种解决办法： 办法1...
scrapy提示DEBUG:Filtered offsite request to
lvqiuyao的专栏
08-07 1940
在使用scrapy爬取数据时，只可以执行parse函数中的内容，通过yield scrapy.Request(url,callback=self.detail)方式无法跳转到detail函数，导致显示详细信息的url不能被解析。 通过查看log，发现提示如下：            DEBUG：Filtered offsite request to 域名  通过查资料，发现request  
[scrapy] DEBUG: Filtered offsite request to
追逐阳光的风
11-24 2873
[scrapy] DEBUG: Filtered offsite request to 使用scrapy爬取豆瓣TOP250电影信息在进行自动翻页爬取的时候，出现了一个问题，解析自动翻页之后网页爬取时没有获取到数据。 测试代码: # -*- coding: utf-8 -*- import scrapy from douDanMovie.items import DoudanmovieItem...
二十二、Scrapy中的Spider中间件
Norni的博客
06-17 326
Spider中间件可以用来处理发送给Spider的Response及Spider产生的Item和Request。 1、Scrapy内置的SPIDER_MIDDLEWARES_BASE 　　(1)'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware':50 　　(2)'scrapy.spidermiddlewares.offsite.Off...
'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware'
07-15
'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware' 是 Scrapy 框架中的一个中间件，用于处理 HTTP 错误。当 Scrapy 的 spider 发送请求时，如果返回的响应状态码不在允许的范围内（如 404），HttpErrorMiddleware 会捕获该错误并根据配置进行处理。它可以通过配置文件中的 HTTPERROR_MIDDLEWARES 设置来启用和配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值