利用Scrapy框架下载图片报400状态码

最新推荐文章于 2024-12-12 22:37:28 发布

有关心情

最新推荐文章于 2024-12-12 22:37:28 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：报错集合文章标签： scrapy code:400

本文链接：https://blog.youkuaiyun.com/qq_41359051/article/details/81456795

报错集合专栏收录该内容

4 篇文章

订阅专栏

在使用Scrapy框架爬取伯乐在线并下载图片时遇到400状态码问题。问题源于在settings.py中请求头设置了Host字段。删除该字段后，图片下载恢复正常。反思中提到，Host字段应指向实际请求的HTTP服务器地址，不正确设置可能导致请求失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：

利用Scrapy框架爬伯乐在线的时候，涉及到图片下载，因为scrapy框架中内置有图片下载功能，所以没有另外写，直接使用。在settings.py中做了如下修改：

ITEM_PIPELINES = {
    'Article.pipelines.ArticlePipeline': 300,
    "scrapy.pipelines.images.ImagesPipeline": 1
}

程序跑起来很OK，但没有图片下载下来，一检查，发现存在这样的警告：
[scrapy.pipelines.files] WARNING: File (code: 400): Error downloading file from <GET xxx> referred in <None>

经排查，找到问题出现在请求头的设置部分：

DEFAULT_REQUEST_HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
    'Host': 'blog.jobbole.com'
}

解决方法：

将Host字段删除即可

反思：

我思考之后，认为之所以出现这样的问题，是因为Host字段用于客户端指定自己想访问的http服务器的域名/IP 地址和端口号。也就是说，当我设置为blog.jobbole.com这个域名以后，就无法再对图片进行请求，因为我请求的图片并非在这个域名之下