关于scrapy无法下载图片 pipeline不执行解决办法记一次大坑

最新推荐文章于 2023-02-18 00:45:21 发布

weixin_42464885

最新推荐文章于 2023-02-18 00:45:21 发布

阅读量3.4k

点赞数 17

CC 4.0 BY-SA版权

分类专栏： scrapy 文章标签： python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_42464885/article/details/116292779

本文记录了一次解决Scrapy图片下载pipeline不执行的问题，问题根源在于缺少Pillow库。通过查看官方文档和日志，发现安装Pillow是关键。重装系统后，作者对Scrapy环境进行了深入研究，最终找到解决方案，并强调了查看运行日志和官方文档的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于scrapy无法下载图片 pipeline不执行解决办法记一次大坑

出现的问题点：scrapy运行正常，pipeline管道经过测试是没有运行的。判断已经主要是并没有创建设置的IMAGES_STORE
提前指出解决的办法，主要是没有依赖处理图片的第三库pillow

pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com pillow
官方文档指出的

经历过程及背景

首先是最近电脑刚重装系统，python环境也是重装了。所以一些第三方库会有缺失.起初是对运行环境有疑虑的，但是具体的不确定，所以折腾了很久（大概一个星期）也没结果。主要也是对scrapy的运行结果不了解。

一些尝试

首先应该要注意的是当然是代码部分，反复查看百度搜索到的博客文档，结果是千篇一律。主要是有两种方法：1.是使用原始的ImagesPipeline(简便，图片名称是HASH值)。2.是修改ImagesPipeline类的file_path方法，就可以修改图片名称。这两种方法都是相对固定的可以直接照抄复制，只要修改设置相关的IMAGES_STORE（设置路径，文件会自动创建）与ITEM_PIPELINES = {‘scrapy.contrib.pipeline.im

最低0.47元/天解锁文章

200万优质内容无限畅学

评论 13

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。