scrapy爬取汽车之家保时捷911高清图片，使用imagespipeline下载

竹里清风，竹外尘

于 2019-08-10 09:41:05 发布

阅读量373

点赞数

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/qq_44210926/article/details/99053635

版权

本文介绍了如何使用Scrapy爬虫框架配合imagespipeline组件，从汽车之家网站抓取并下载保时捷911的高清图片。在settings.py配置以及spider.py和pipeline.py的实现过程中遇到了一些挑战，但最终成功实现了图片的下载。虽然程序未运行完成，但已展示了关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

昨天自己搞了一个下午加晚上，真的是心力憔悴。主要就是不知道imagespipeline怎么使用,问题在代码中有解释.
在settings.py中设置

ITEM_PIPELINES = {
    #'car_bsj.pipelines.CarBsjPipeline': 300,
    'car_bsj.pipelines.CARBSJImagesPipeline': 1
}
#这里是储存文件的文件目录
IMAGES_STORE = os.path.join(os.path.dirname(os.path.dirname(__file__)),'images')

直接上代码
spider.py

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from car_bsj.items import CarBsjItem

class BsjSpider(CrawlSpider):
    name = 'bsj'
    allowed_domains = ['autohome.com.cn']
    start_urls = ['https://car.autohome.com.cn/pic/series/162.html']

    rules = (
        Rule(LinkExtractor(allow=r'.+pic/series/162-.+\.html'),
             callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        box_

最低0.47元/天解锁文章