Scrapy 文件图片下载pipeline文件

最新推荐文章于 2022-11-25 14:34:51 发布

原创最新推荐文章于 2022-11-25 14:34:51 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一个基于Scrapy框架的自定义图片下载管道。该管道能够处理图片URL，发起请求并下载图片。若下载失败，则会丢弃不含图片的项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import scrapy
from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem




class Di81ImagePipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['images'] = image_paths
        return item