scrapy--pipelines基本用法--如何自定义ImagesPipeline抓取图片

最新推荐文章于 2025-06-05 21:00:14 发布

转载最新推荐文章于 2025-06-05 21:00:14 发布 · 347 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/python-dd/p/9570034.html

文章标签：

#python #爬虫 #数据库

上一篇介绍了一些关于items进行数据清洗的一些用法，本章介绍scrapy中的pipelines的用法，pipelines一般是用来将爬取到的数据持久化。里面有几个常用的函数：

1.常用功能

class testPipeline(object):

    def __init__(self):
        """
        初始化一些事情，例如打开文件，写入表头，只运行一次
        """
        pass

    def process_item(self,item,spider):
        """
        这个方法被每个item pipeline组件调用，并且必须返回
        """
        return item

    def open_spider(self,spider):
        """
        爬虫开启时运行
        """

    def close_spider(self,spider):
        """
        爬虫关闭时运行
        """

    @classmethod
    def from_crawler(cls,crawler):
        '''
        当调用类方法时，会生成一个pipeline的实例，
        也必须返回一个pipeline实例
        比如得到settings文件中的mysql登录的端口号
        val = crawler.settings.get("MYSQL_HOST")
        return cls(val)
        '''

上面几个函数都有spider参数，spider有name属性，是爬虫的名字，当一个文件里有多个spider和多个Pipeline类时可以通过这个来确保spider与Pipeline类对应起来。

2.DropItem

from scrapy.exceptions import DropItem
if item['price'] == ' ':
    DropItem()

如果抓取到的房子价格为空，就可以用此方法丢掉。

当有多个pipeline类时，抓取的数据会按照优先级传递数据，这时也可以在return item前加上raise Dropitem()便不会向下一级传递item。

3.settings

写好pipelines后一定不要忘记在settings中进行设置

ITEM_PIPELINES = {
   'scrapy1.pipelines.TestPipele': 300,
}

后面的数字从0到1000，数值越小优先级越高

scrapy也提供了很多方便的文件输出，例如在命令行下

scrapy runspider test.py -o test_data.csv

而且还提供了CsvItemExporter的类，我还没有搞懂，等明白了再分享出来。

4.ImagesPipeline

scrapy提高了图片的处理管道，在系列文章破冰中也简单运用了一下，若想做一些高级功能，还需对类中的方法进行重写。三个重要的方法：

1.get_media_requests(self, item, info)

2.file_path(self, request, response=None, info=None)

依旧对丫丫女神进行抓取：

这是四个图集，红框是等会要用来命名文件夹名称的，要进入图集后里面会有若干图片。

class ImagedowPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        for img_url in item['image']:
            yield Request(img_url, meta={'item':item})
        #将图片链接交给Request，item传递给file_path函数

    def file_path(self, request, response=None, info=None):
        item = request.meta['item']
        folder_name = item['name']
        #接收传过来的item
        filename = '{0}//{1}'.format(folder_name, str(random.random()))+".jpg"
        #文件夹名称是红框里的信息，每个图片是用随机数命名
        return filename