利用文件哈希值进行排重的Python脚本

原创于 2013-10-20 16:19:18 发布 · 2.3k 阅读

2 ·

CC 4.0 BY-SA版权

技俩同时被 2 个专栏收录

7 篇文章

订阅专栏

Python

3 篇文章

订阅专栏

本文介绍了一种通过编写脚本来处理图片文件的方法，该方法利用SHA-256哈希算法来识别并删除重复的图片文件。脚本遍历指定目录下的所有文件，计算每个文件的SHA-256哈希值，并将哈希值与已知的哈希值进行比较，从而识别重复文件并进行删除。

下载了些图片，里面有少量重复的。写了个脚本，给每个文件算SHA-256，哈希值重复的就删掉。

import re, sys, os, hashlib

folder = 'C:\\XXX\\';
dicFile = {}
n = 0;
for filename in sorted(os.listdir(folder)):
  path = folder + filename;
  sig = hashlib.sha256(open(path, 'rb').read()).hexdigest()
  if(sig not in dicFile):
    dicFile[sig] = filename;
  else:
    print(filename + " is dupe with " + dicFile[sig]);
    os.remove(path);
    n = n + 1;
print("total deleted: " + str(n));