python实现scrapy爬取图片到本地时的sha1摘要算法文件名

2017-03-29

Scrapy爬图片到本地应该会给图片自动生成sha1摘要算法文件名，我第一次用scrapy也不清楚太多，就在程序里自己写了一段实现这一功能的代码。需import hashlib

# 存储所有图片链接image_urls
item["image_urls"] = ['http://www.nosta.gov.cn/upload/2017slgb'+i.replace('..', '') for i in response.xpath('//img[@width="840px"]/@src').extract()]
# 存储所有图片本地地址和图片名（列表中存存字典）images
s = hashlib.sha1()
item["images"] = []
for i in item["image_urls"]:
dict1 = {}
dict1["url"] = i
s.update(i)
dict1["path"] = s.hexdigest() + ".jpg"
item["images"].append(dict2)

其实主要核心是下面这段

import hashlib

sha1 = hashlib.sha1()
sha1.update('自定义内容')print sha1.hexdigest()

 

转载于:https://www.cnblogs.com/zhangtianyuan/p/6867472.html