爬虫中遇到的问题Crawled (404)，[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to

xiaobai_IT_learn

于 2019-09-19 21:15:51 发布

阅读量4.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：问题解决爬虫文章标签：爬虫报错 scrapy

本文链接：https://blog.youkuaiyun.com/xiaobai_IT_learn/article/details/101036598

爬虫同时被 2 个专栏收录

21 篇文章

订阅专栏

问题解决

20 篇文章

订阅专栏

在使用Scrapy爬虫时，可能会遇到404错误，这通常是因为URL地址有误。解决方法是检查并确保使用正确的完全URL地址。另外，还会遇到'Filtered offsite request to'的报错，意味着请求被离站中间件过滤，可能需要调整Scrapy的配置来允许目标站点的请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.错误1：url地址有误

Crawled (200) <GET http://www.itcast.cn/robots.txt> (referer: None)
DEBUG: Crawled (404) <GET http://www.itcast.cn/channel/teacher.shtml/> (referer: None)

解决：复制url的完全地址

start_urls = ['http://www.itcast.cn/channel/teacher.shtml/']  # 刚开始的url
start_urls = ['http://www.itcast.cn/channel/teacher.shtml#ajavaee']  # 改了之后的url

2.错误2：[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to

解决：`dont_filter=True`

yield scrapy.Request(
    item["s_href"],
    callback=self.parse_book_list,
    meta={"item": deepcopy(item)},
    dont_filter=True
)