使用Python删除目录下重复图片

python图像去重. 删除重复或相似的图像 图像去重. 删除重复或相似的图像,感知哈希法,python 立即下载

方法

  • 判断文件大小是否相同
  • 判断md5是否相同

步骤

  • 获得目录下所有文件
for root,dirs,files in os.walk(path):
    for file in files:
        real_path = os.path.join(root,file)
  • 获得文件大小
 size = os.stat(real_path).st_size
  • 获得文件的md5
def getmd5(filename):
    file_txt = open(filename,'rb').read()
    m = hashlib.md5(file_txt)
    return m.hexdigest()
  • 比较文件大小和md5,并删除重复文件
if size in all_size.keys():
    new_md5 = getmd5(real_path)
    if all_size[size][1] == '':
        all_size[size][1] = getmd5(all_size[size][0])
    if new_md5 in all_size[size]:
        os.remove(real_path)
        print('删除', file)
        total_delete += 1
    else:
        all_size[size].append(new_md5)
else:
    all_size[size] = name_and_md5

Github代码链接

用python简单的删除重复图片 https://blog.youkuaiyun.com/an195/article/details/80625790 堆栈深度遍历目录找出重复的jpg和png图片并通过相同的文件名判断重复,保留较新和较大者,删除较小和较旧的重复图片 立即下载

相关推荐

查找重复图片并删除python(图片去重)

和网络爬虫配套的,也可单独使用,从网上爬下来的图片重复太多 代码支持识别不同尺寸大小一致的图片,并把重复的图片删除,只保留第一份。主要用的opencv的库 不过由于python效率的问题,图片量大的情况下要跑很长时间(6年前的mac mini跑3000张图片超过24小时)

python删除图片_python查找重复图片并删除(图片去重)

本文实例为大家分享了python查找重复图片并删除的具体代码,供大家参考,具体内容如下和网络爬虫配套的,也可单独使用,从网上爬下来的图片重复太多,代码支持识别不同尺寸大小一致的图片,并把重复的图片删除,只保留第一份。# -*- coding: utf-8 -*-import cv2import numpy as npimport os,sys,typesdef cmpandremove2(path...

weixin_39734074的博客 627

python查找重复图片并删除(图片去重)

主要为大家详细介绍了python查找重复图片并删除,识别不同尺寸大小一致的图片,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

python 图片数据清洗,图片去重,去掉模糊图片,去掉结构性相似的图片

python 图片数据清洗,图片去重,去掉模糊图片,去掉结构性相似的图片

m0_38056925的博客 6976

error C2039: “int_least8_t”: 不是“`global namespace'”的成员

在向H.265的测试软件HM16.0中配置boost的时候,发现 include <boost/cstdint.hpp>的时候总是会报错:错误 11 error C2039: “int_fast16_t”: 不是“`global namespace'”的成员 D:\Program Files\Caffe\VSContact\boost_1_58_0\boost\cstdint.hpp ...

flyerene的博客 1万+

CKA考试实战指南--从备考到通关的完整攻略

本文提供了一份全面的CKA考试实战指南,涵盖从备考规划、资源选择到高效练习环境搭建的全过程。重点解析了考试核心内容,特别是占分30%的故障排除难点,并分享了集群升级、etcd备份等高频考点的突破技巧与临场实战策略,帮助考生系统掌握Kubernetes实操技能,顺利通过认证。

weixin_28839549的博客 490

Python 图片去重,删除重复图片

删除文件夹中相似图片的任务比较复杂,因为需要定义“相似”的标准,并且这通常涉及到图像内容分析。一种常见的做法是使用图像哈希(如感知哈希、平均哈希等)来比较图像之间的相似度。在Python中,可以使用一些库如Pillow(PIL的更新版)来处理图像,以及ImageHash库来生成图像哈希。

蜡笔小新星的博客 2020

【计算机图形学】Pov-Ray画的垃圾小车

效果: 代码: #include "colors.inc" #include "metals.inc" #include "glass.inc" //相机 //这个位置车子刚好落在草地上了 camera { location direction z*1.5 right x*image_width/image_height look_at

lishichengyan的博客 1749

告别玄学调试:手把手教你读懂全志芯片的sys_config.fex配置文件(以i2c配置为例)

本文深入解析全志芯片的sys_config.fex配置文件,以I2C设备驱动为例,详细讲解从引脚定义到驱动加载的全过程。通过实战案例和高级调试技巧,帮助开发者快速掌握硬件配置与内核驱动的联动机制,提升开发效率。

weixin_33737134的博客 420

Linux之SUSE系统SAP-HANA经常系统内存不足使得SAP应用不能使用解决方案

问题描述 Linux内存使用量超过阈值,使得sap应用程序无可用内存,最终导致程序崩溃。 问题原因 自己查阅了一些资料,也基于zabbix的可用内存和实际不太一样入手去找原因发现问题出现于Cached的值过大,导致系统没有可以再分配的内存空间。Cached只要用来缓存文件的,经常读写的文件会被缓存到Cached中,可以增加读写效率,该功能是Linux系统内核提供的,而SAP-HANA的日志文件很大...

liuxiangyang_的博客 6712

python删除图片_删除相同图片,Python实现

Python实现:import osimport reimport hashlibfrom time import timerootPath = 'F:/Image/照片'backupPath = 'F:/Image/backup'picDic = {}regular = re.compile(r'^(.*)\.(jpg|jpeg|bmp|gif|png|JPG|JPEG|BMP|GIF|PNG)...

weixin_39636898的博客 599

相机标定-张正友棋盘格标定法

(X,Y,Z)为在世界坐标系下一点的物理坐标 ( u , v ) 为该点对应的在像素坐标系下的像素坐标 引入齐次坐标的原因:引入齐次坐标的目的是为了升维,将坐标从二维坐标变为三维坐标。 2.相机成像过程 相机成像系统中,共包含四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。 (1)世界坐标系(,,) 描述目标在真实世界中的位置引入的参考坐标系。 (2)相机坐标系(,,) ...

qq_41275123的博客 1万+

python 去除重复图片

import glob import os if __name__ == '__main__': file_names = glob.glob(r"\*.jpeg") data_lirary= {} lirary_num=0 for path in file_names: try: with open(path, 'rb')...

Color的博客 1744

城市仿真软件:AnyLogic_(8).行人与人群动态仿真

定义行人个体的行为和属性,如行走速度、目标位置等。// 创建一个行人// 设置行走速度为1.5 m/s// 设置目标位置为入口// 创建另一个行人// 设置行走速度为1.2 m/s// 设置目标位置为出口// 创建行人// 创建乘客行人与人群动态仿真在城市规划、交通管理和紧急疏散等领域具有广泛的应用。通过AnyLogic提供的行人模型模块,可以有效地模拟行人的个体行为、群体动态和与环境的交互。

kkchenjj的博客 1250

UG NX二次开发(Python)-API函数介绍与应用实例(三)-UFLayer类操作

采用Python语言进行UG NX二次开发的帮助材料很少,采用录制的方法是一种比较容易实现的方式,但是使用UFun函数更容易上手,我们以后将逐渐的将Python-UFun的功能写进博客中,以便于有需要的人采纳和研究。本博客是为了入门需要,采用简单的创建长方体的功能来讲一下怎么使用Python语言开发。我们今天以移动长方体到某一个图层为例,讲一下UFLayer类中部分函数的使用。另外,我们长期提供UG NX二次开发的功能开发和咨询服务,有疑问可以私信博主或者在评论区讨论。

GimiGimmy 709

闲来无事,用python实现简单的删除重复图片功能

发现硬盘空间占用过多,仔细一翻,发现存了大量的图片,还有不少是重复的。文件夹太多,手动删又很麻烦,想了一下,决定写一个删除重复图片的代码首先,目录下面存在大量文件夹我们需要把所有,检索可以用os自带的os.walk、递归、或者栈和队列。前两种实现比较无聊,这里用栈来玩一下。我们用collections模块来模拟栈,并把根目录压进栈里import collections rootpath = os....

AN195的博客 3476

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

python编写一个程序、实现删除列表重复元素的功能_Python实现删除目录下相同文件...

遇到的第一个问题就是有些图片没有后缀名。在windows下,没有后缀名的文件是不能正确被识别的,没有预览,打开时还要选择打开方式,费劲!这个问题比较容易解决,给每个图片加上后缀名就是了。没有后缀名的图片也不多,不到1000张吧,一张一张地改很麻烦,还好我是学计算机的,上午写了个程序批量修改http://www.cnblogs.com/ma6174/archive/2012/05/04/248237...

weixin_39596739的博客 1001

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

python-----利用filecmp删除重复文件

python-----利用filecmp删除重复文件 以下代码素材自取:链接:https://pan.baidu.com/s/1fL17RjKyGjpvpeeUFONCaQ  提取码:zgiw # coding:utf-8 import os import filecmp # 将指定目录下的所有文件的路径存储到all_files变量中 def ...

小呆丶的博客 644

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

python实现去重_Python实现的删除重复文件或图片功能示例【去重】

Python实现的删除重复文件或图片功能示例【去重】发布时间:2020-08-31 10:03:29来源:脚本之家阅读:83本文实例讲述了Python实现的删除重复文件或图片功能。分享给大家供大家参考,具体如下:通过python爬虫或其他方式保存的图片文件通常包含一些重复的图片或文件,通过下面的python代码可以将重复的文件删除以达到去重的目的。其中,文件目录结构如下图:# /usr/bin/e...

weixin_39737831的博客 513

python图片去重

【代码】python图片去重。

vive921的博客 402

python文件去重算法,使用python opencv对目录下图片进行去重的方法

使用python opencv对目录下图片进行去重的方法来源:中文源码网浏览: 次日期:2019年11月5日【下载文档:使用python opencv对目录下图片进行去重的方法.txt】(友情提示:右键点上行txt文档名->目标另存为)使用python opencv对目录下图片进行去重的方法版本:平台:ubuntu 14 / I5 / 4G内存python版本:pyth...

weixin_39885803的博客 387

python去重语句_使用python opencv对目录下图片进行去重的方法

版本:平台:ubuntu 14 / I5 / 4G内存python版本:python2.7opencv版本:2.13.4依赖:如果系统没有python,则需要进行安装sudo apt-get install pythonsudo apt-get install python-devsudo apt-get install python-pipsudo pip install numpy mathp...

weixin_39520199的博客 243

python MD5 图片去重

python MD5 图片去重

qq_36891089的博客 422

python-----图片去重

图片去重代码(简单高效) import os import hashlib filedir = 'D:/Projects/pinyin/data_pinyin/g1' def filecount(DIR): filecount = len([name for name in os.listdir(DIR) if os.path.isfile(os.path.join(DIR, name))]) return (filecount) def md5sum(filename):

qq_28057379的博客 1449

2025-07-16图片去重,虽然命名不一样但可以去掉相同的图片

本文提供了两个Python脚本用于检测和删除重复图片。第一个脚本针对单个文件夹,使用感知哈希算法(phash)计算图片特征值,通过比较哈希值识别重复图片并删除。第二个脚本扩展功能至处理指定目录及其所有子目录中的图片文件。两个脚本均支持常见图片格式(.png/.jpg等),包含错误处理机制,并输出删除文件统计。使用时需修改目标文件夹路径参数,适合需要批量清理重复图片的场景。

m0_58149406的博客 495
上一篇: Window10 && Ubuntu18.04 双系统安装后,使用EasyBCD 进入Grub 界面 问题解决。
下一篇: 在服务器上配置数据库
陌逸_逺
博客等级 码龄9年 13粉丝 49原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值