scrapy下载图片

最新推荐文章于 2025-07-08 22:32:29 发布

原创最新推荐文章于 2025-07-08 22:32:29 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

博客提及了Python爬虫项目中的几个关键文件，包括items.py、spider.py、settings.py和pipelines.py，这些文件在爬虫项目中承担着不同的功能，是构建爬虫程序的重要组成部分。

items.py：

fishPicId = scrapy.Field()			#图片url地址。要是个列表
image_path = scrapy.Field()     	#->>保存img绝对路径。

spider.py：

item['fishPicId'] = [img_src]         # ImagesPipeline用到的是图片的url列表

settings.py:

ITEM_PIPELINES = {
   'LXSpider.pipelines.LxspiderPipeline': 300,
    'LXSpider.pipelines.DownloadImagesPipeline': 100
}

import os
IMAGES_URLS_FIELD ="fishPicId"                              #fishPicId：在items.py中配置的爬取得图片地址
project_dir = os.path.abspath(os.path.dirname(__file__))    #获取当前爬虫项目的绝对路径
IMAGES_STORE = os.path.join(project_dir,'images')         #组装新的图片路径,设置图片存储目录
# IMAGES_MIN_HEIGHT = 1                                   #设定下载图片的最小高度
# IMAGES_MIN_WIDTH = 1                                 #设定下载图片的最小宽度

pipelines.py：

'''保存图片绝对路径'''
from LXSpider.images.full import img_abspath
from scrapy.pipelines.images import ImagesPipeline
class DownloadImagesPipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        for ok, value in results:               # 通过断点可以看到图片路径存在results内
            image_file_path = img_abspath+str(value['path']).replace('/','\\')     # 将路径保存在item中返回
            item['image_path']=image_file_path
        return item