在setting中的设置:
ITEM_PIPELINES = {
'beautyImg.pipelines.BeautyimgPipeline': 500,
'scrapy.pipelines.images.ImagesPipeline':1
}
IMAGES_URLS_FIELD = 'IMG_URL'
IMAGES_STORE = r'.' #下载图片存放目录。r"."为工程项目目录
item中格式:
try:
img_url = div.xpath('div[@class="personal-info"]/div[@class="pic-word"]/div/a/img/@src')[0].extract()
item['IMG_URL'] = ["http:" + img_url] #要以list的形式放到item中
print item['IMG_URL']
except Exception,e:
print "ERROR:",e
yield item
本文介绍如何使用Scrapy框架进行图片爬取,包括配置ITEM_PIPELINES、IMAGES_URLS_FIELD及IMAGES_STORE参数,并展示了如何从网页中解析图片链接并将其存储到Item中的IMG_URL字段。
1703

被折叠的 条评论
为什么被折叠?



