本文介绍了如何使用Scrapy的ImagesPipeline模块来爬取并保存淘票票网站的图片。首先，在settings.py中配置ITEM_PIPELINES启用ImagesPipeline，接着在Item中定义字段img_urls和images。然后设置图片保存路径IMAGES_STORE、图片url字段IMAGES_URLS_FIELD以及文件结果字段IMAGES_RESULT_FIELD。此外，还可通过IMAGES_THUMBS创建缩略图，并通过IMAGES_EXPIRES设置文件过期时间。运行爬虫后，图片成功保存到本地。
爬取图片地址，并保存到本地
1. 使用ImagesPipeline
(1) 在settings.py文件中的ITEM_PIPELINES中添加一条 'scrapy.pipelines.images.ImagesPipeline':1
(2) 在Item中添加两个字段
img_urls = scrapy_Field()
images = scrapy_Field()
(3) 在settings.py文件中添加保存路径IMAGES_STORE、图片url所在item字段IMAGES_URLS_FIELD
和文件结果所在item字段IMAGES_RESULT_FIELD
IMAGES_STORE = 'F:\\py_pic'
IMAGES_URLS_FIELD = 'img_urls'
IMAGES_RESULT_FIELD = 'images'
可以在settings.py中使用IMAGES_THUMBS制作缩略图，并设置缩略图的大小。
使用IMAGES_EXPIRES设置文件过期时间
IMAGES_THUMBS = {
'small' : (50,50),
'big' : (270,270),
}
IMAGES_EXPIRES = 30 #30天过期
2. 结果
命令：scrpay
最低0.47元/天 解锁文章
扫一扫
1624
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
