scrapy使用自带类 ImagesPipeline下载图片

最新推荐文章于 2023-06-06 10:52:09 发布

原创

最新推荐文章于 2023-06-06 10:52:09 发布 · 6k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#ImagePipelines

本文介绍了如何利用Scrapy的ImagesPipeline下载和处理图片，包括转为JPG和RGB格式、避免重复下载、生成缩略图和过滤图片大小。详细讲述了ImagesPipeline的工作流程，以及自定义和直接使用ImagesPipeline的两种实现方式，并提醒在爬虫解析响应时需要注意元素的实际值。

ImagesPipeline是scrapy自带的类，用来处理图片（爬取时将图片下载到本地）用的。

实现功能：

将下载图片转换成通用的JPG和RGB格式
避免重复下载
缩略图生成
图片大小过滤

工作流程：

爬取一个Item，将图片的URLs放入image_urls字段
从Spider返回的Item，传递到Item Pipeline
当Item传递到ImagePipeline，将调用Scrapy 调度器和下载器完成image_urls中的url的调度和下载。
图片下载成功结束后，图片下载路径、url和校验和等信息会被填充到images字段中。

实现方式：

1、自定义pipeline，优势在于可以重写ImagePipeline类中的实现方法；

2、直接使用ImagePipeline类，简单但不够灵活；

具体使用哪种方式，视情况而定。

方法一：

item.py文件：定义item字段

import scrapy


class PicPhotoPeopleItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 存放url的下载地址
    image_urls = scrapy.Field()
    # 图片下载路径、url和校验码等信息（图片全部下载完成后将信息保存在images中）