scrapy爬取图片并保存

最新推荐文章于 2023-10-21 16:03:19 发布

丨风语者丨

最新推荐文章于 2023-10-21 16:03:19 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： scrapy爬取图片

本文链接：https://blog.youkuaiyun.com/Lan_cer/article/details/87363405

python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍如何使用Scrapy框架的自定义Pipeline来下载并保存网页中的图片，详细解释了DownloadImagesPipeline类的方法，包括get_media_requests和file_path，以及图片下载后的处理流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过item中的url下载并保存图片

from scrapy import Request
class DownloadImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):  # 下载图片
        print(item)
        for image_url in item['img']:
            yield Request(image_url,
                          meta={'item': item,
                                #'index': item['image'].index(image_url)
                                })  # 添加meta是为了下面使用

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']  # 通过上面的meta传递过来item
       # index = request.meta['index']  # 通过上面的index传递过来列表中当前下载图片的下标

        # 图片文件名request.url.split('/')[-1]
        image_guid = request.url.split('/')[-1]
        # settings设置的IMAGES_STORE  +  路径/文件名
        filename = '/{0}/{1}'.format(item['title'], image_guid)
        return filename
 
    #图片下载完毕后这个方法会被调用
    def item_completed(self, results, item, info):
        if isinstance(item, PhotoItem):
            image_paths = [x['path'] for ok, x in results if ok] # results=[(True, {'url': '...', 'path': '/.../1.jpg', 'checksum':'03d68f6ab9559687f801168609e7b336'}),]
            if not image_paths:
                print('item contains no images')
            else:
                #设置图片保存的路径供后续使用
                item['image_paths'] = image_paths
                return item
        else:
            return item

settings中配置

# ImagePipeline的自定义实现类
ITEM_PIPELINES = {
    'photo.pipelines.DownloadImagesPipeline':301,
}
#设置图片下载路径
IMAGES_STORE='F:\picture'
# 过期天数
IMAGES_EXPIRES = 90  #90天内抓取的都不会被重抓，可不设置