Python爬虫 - scrapy - 爬取妹子图 Lv3-优快云博客

本文介绍如何使用Scrapy框架重写图片爬虫的Pipeline，实现图片的重命名及分目录存储。通过自定义Pipeline，可以将图片按组分类并以有意义的名字保存。

0. 前言

按计划把爬妹子图的爬虫文章写完，这次重写了pipeline，对图片进行重命名，并分目录存储。

1.pipelines

源码简单直接上了。。。

from scrapy.pipelines.images import ImagesPipeline
from scrapy.http import Request

class SpiderMeizituPipeline(ImagesPipeline):
    @classmethod
    def get_media_requests(self, item, info):
        return Request(item['image_urls'][0],meta={'imagegroup':item['images'],'imageindex':item['index']})

    def file_path(self, request, response=None, info=None):
        imagegroup = request.meta['imagegroup']
        imageindex = request.meta['imageindex']
        filepath = 'full/%s/%s.jpg' % (imagegroup,imageindex)
        return filepath

网上用Scrapy爬图后改名的文章很多，代码稍有不同，原理都是一样。Scrapy原生的ImagesPipeline中，只能用SHA1哈希值存储文件名，如果我们要存储自定义的文件名（自己定义文件名当然要有意义的，而文件含义一般存储在item中）就要重写ImagePipeline。在原生的ImagesPipeline类中，设置存储路径和文件名的方法是file_path，我们看源码，它的参数只有4个：self,request, response,info。并没有item，那么就要想办法把item中的内容传输到file_path中。因此，就要重写get_media_requests和file_path方法。

get_media_requests的作用是解析item中的image_urls，并把url逐个发送给Scrapy引擎，这里同网上其他文章一样，为request添加meta，这样就把图片名称和序号传给了file_path()
file_path的作用就是定义图片存储路径和文件名，没有太多好说的了。

2.完整源码

https://github.com/YangChina/...