在尝试使用Scrapy爬取网页时遇到了403错误，这通常是因为USER_AGENT被拒绝。解决方案是查看目标网站的请求头，复制USER_AGENT到items.py文件中，然后重新运行爬虫，问题即可得到解决。
报错内容如下：
2019-09-27 13:32:17 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://movie.douban.com/robots.txt> (referer: None)
2019-09-27 13:32:17 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://movie.douban.com/top250> (referer: None)
2019-09-27 13:32:18 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 https://movie.douban.com/top250>: HTTP status code is not handled or not allowed
403为访问被拒绝，问题出在我们的USER_AGENT上。
解决办法：
打开我们要爬取的网站，打开控制台，找一个请求看看：
复制这段user-agent，打开根目录 items.py文件，粘贴进去：
重新编译运行爬虫：
问题解决~
最低0.47元/天 解锁文章
扫一扫
4003
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
