[scrapy.spidermiddlewares.httperror] INFO: Ignoring respons 403...HTTP status code is not handled..

自封的羽球大佬

于 2018-08-23 23:18:50 发布

阅读量8.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Scrapy 爬虫文章标签： scrapy 爬虫 python 403错误

本文链接：https://blog.youkuaiyun.com/qq_40795214/article/details/81989719

本文记录了一位初学者在使用Scrapy框架进行爬虫实践时遇到403错误的过程。经过排查，问题源于要爬取的URL已失效。作者提醒学习者要注意网址的有效性，并欢迎经验丰富的开发者给予指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分享一下这几天玩爬虫碰到的坑。

因为初学，所以边看书，边看别人的实例，本想照着别人的先搞出个小名堂，不料深陷403泥潭。我用的是scrapy框架，具体报错如下：

[root@Uu tutorial]# scrapy crawl dmoz -o torrents.jl
2018-08-23 22:49:26 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)
2018-08-23 22:49:26 [scrapy.utils.log] INFO: Versions: lxml 3.2.1.0, libxml2 2.9.1, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.7.0, Python 2.7.5 (default, Jul 13 2018, 13:06:57) - [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0i  14 Aug 2018), cryptography 2.3.1, Platform Linux-3.10.0-693.el7.x86_64-x86_64-with-centos-7.4.1708-Core
2018-08-23 22:49:26 [scrapy.crawler] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tutorial.spiders', 'FEED_URI': 'torrents.jl', 'CONCURRENT_REQUESTS': 1, 'SPIDER_MODULES': ['tutorial.spiders'], 'BOT_NAME': 'tutorial', 'COOKIES_ENABLED': False, 'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1