本文介绍了一种在爬取特定网站信息时遇到的问题——请求被过滤，并提供了有效的解决方案。问题出现的原因在于请求地址与允许的域名设置冲突，通过调整设置禁用了过滤功能。
爬电源网公司信息，无法爬取。
查看控制台发现报如下错误：
DEBUG: Filtered offsite request to ‘product.dianyuan.com’:
果断上网百度 ,找到答案 。
官方对这个的解释，是你要request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。
yield Request(url, callback=self.parse_item, dont_filter=True)
用scrapy写爬虫 显示 Filtered offsite request to 错误.
最新推荐文章于 2023-12-08 15:35:37 发布
扫一扫
553
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
