python 清理文件名不同的相同文件

最新推荐文章于 2021-02-20 15:15:32 发布

Vigor

最新推荐文章于 2021-02-20 15:15:32 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/hewei0241/article/details/80466750

该Python脚本用于查找并删除指定目录及其子目录中具有相同MD5值的重复文件，主要涉及文件遍历、MD5计算及文件比较。通过`os.walk()`遍历文件，使用`hashlib.md5()`计算文件哈希，然后对比文件是否相同，如果相同则删除重复文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/python  
#coding:utf8

import sys
import filecmp
import os
import hashlib

allrootpath = [
    "D:\\360down\\now",
    "F:\\pl",
    "C:\\newgif",
    "H:\games\\newdoc\\360down",
]

all_types = [".rar", ".gif", ".zip", ".jpg", ".png"]

allfiles = []

runforall = False

def is_valid_type(filepath):
    #valid_types = all_types
    valid_types = [".gif"]
    re = False
    for types in valid_types:
        if filepath.find(types) > -1:
            re = True
            break
    return re

def CalcMD5(filepath):
    with open(filepath,'rb') as f:
        md5obj = hashlib.md5()
        md5obj.update(f.read())
        hash = md5obj.hexdigest()
        return hash

def traverseDirByOSWalk(path):
    global allfiles
    path = os.path.expanduser(path)
    for (dirname, subdir, subfile) in os.walk(path):
        for f in subfile:
            fullfile = os.path.join(dirname, f)
            if runforall or is_valid_type(fullfile):