import os
import hashlib
import shutil
def calculate_hash(file_path):
"""计算文件的SHA-256哈希值"""
sha256 = hashlib.sha256()
with open(file_path, 'rb') as f:
for block in iter(lambda: f.read(4096), b""):
sha256.update(block)
return sha256.hexdigest()
def move_duplicates(dir_path, dest_path):
"""递归遍历目录,查找重复文件并移动"""
if not os.path.exists(dest_path):
os.makedirs(dest_path)
file_hashes = {}
for root, _, files in os.walk(dir_path):
for file in files:
file_path = os.path.join(root, file)
file_hash = calculate_hash(file_path)
if file_hash in file_hashes:
# 如果文件哈希值已经存在,说明是重复文件,移动到目标目录
shutil.move(file_path, os.path.join(dest_path, file))
print(f"重复文件 {file_path} 已移动到 {dest_path}")
else:
# 否则,记录文件哈希值
file_hashes[file_hash] = file_path
dir_path = "/Users/北京橙溪科技/Documents/EnWing.com/allResume/"
dest_path = "/Users/北京橙溪科技/Downloads/del/"
move_duplicates(dir_path, dest_path)
相关推荐
PPT模板合集高效整理指南:批量分类、去重与自动化替换
在办公与教学场景中,PPT模板的获取与整理常成为效率瓶颈。当面对上万份模板素材时,如何避免文件堆积、快速定位可用版本?这本质上是数字资产管理问题,核心在于建立分类体系并引入自动化工具。通过目录规划、哈希去重、页数筛选等手段,可初步完成资源清洗;而借助python-pptx等脚本库,则能进一步实现批量重命名、关键词自动归档、占位符文字替换,甚至批量导出PDF预览图,将零散的模板库转化为可持续复用的个人素材资产。此类方法不仅适用于PPT,也适用于文档、表格等办公资源的管理,广泛服务于企业汇报、课件制作、毕业答辩
如何用python代码检索电脑重复度高的文件
当电脑中重复文件过多,各种聊天软件中获取的各种重复文件,又都自动下载在电脑中,不断占用电脑内存,同时又不容易通过每个关键字来搜索重复文件,删除重复文件以减小内存的情况。threshold = int(input("请输入重复度的阈值(默认为2):"))starting_directory = input("请输入要搜索的起始目录:")starting_directory = input("请输入要搜索的起始目录:")print("重复度很高的文件名:")print("以下文件可能是重复的:")
使用python进行md5计算参考代码
2.计算文件MD5命令格式:calculate_md5.exe 需要计算的文件的路径。1.exe所在文件下 运行cmd命令。
基于python的哈希查表搜索特定文件
输入目录和目标哈希,遍历所有文件,计算哈希存入字典,查找并输出结果。需要考虑大文件处理和错误处理,选择适当的哈希算法。
查找重复数据软件的深入解析与应用
本文还有配套的精品资源,点击获取 简介:在数据管理中,查找并删除重复文件是优化存储空间的关键任务。查找重复数据软件通过哈希算法比较文件内容,识别和释放重复数据。本文介绍了该软件的工作原理、操作流程以及NoClonev这类高级工具的特点和使用方法。确保了个人和企业用户在提升存储效率的同时,不会误删重要文件。 1. 查找重复数据软件的目的和功能 在信息爆炸的时代...
基于Python实现基于遥感指数的水体提取
基于Python实现基于遥感指数的水体提取
判断两个文件是否相同
通过计算文件hash值和逐字节判断文件是否重复
非球面检测
摘要:非球面镜检测主要采用干涉法,包括零位补偿和非零位补偿两种方式。零位补偿通过透镜组完全校正像差,精度达1%波长,但设计复杂成本高;非零位补偿利用部分像差补偿降低波前斜率,适用于规则非球面。折射-衍射混合补偿镜能同时校正多种像差。实际检测中可采用物理补偿镜或动态CGH加载方案,光路设计需运用坐标断点和多重结构技术实现复杂光路建模。不同方法各具优势,需根据检测需求选择合适方案。
Czkawka 重复文件清理:装好、扫完、清掉,一个文件夹只要五分钟
D 盘变红,容量分析显示一份 20GB 的工程录像存了两份,"文档"目录里三个文件名只差数字的简历其实是同一份——手动翻,翻到天黑也未必找全。Czkawka 是一款用 Rust 编写的开源重复文件清理工具,一次扫描找出重复文件、相似图片和空文件夹,扫完可以批量删除、移动或建硬链接。 ## 安装步骤:四种前端,各自怎么跑起来 同一个扫描核心(`czkawka_core` 库)配了四个前端,选一个
Nginx健康检查实战:如何用第三方模块提升服务可用性(附详细配置)
本文深入探讨了如何通过集成第三方健康检查模块来提升Nginx的服务可用性。文章对比了Nginx默认被动检查的局限性,并详细介绍了主动健康检查的核心优势、主流模块选型,以及以nginx_upstream_check_module为例的实战部署与配置指南,帮助运维人员构建更可靠的负载均衡架构。
100kHz手持LCR表设计:高频阻抗测量与校准实战解析
阻抗测量是电子元件测试的基础,LCR表通过施加正弦激励并分析电压电流的幅值与相位,即可获取电容、电感、电阻的等效参数。在开关电源、无线充电等高频应用场景中,元件在100kHz下的ESR和阻抗特性尤为关键,传统10kHz手持仪表难以满足需求。本文从自动平衡桥原理出发,探讨如何将台式电桥的核心能力浓缩至手持设备,重点剖析高频寄生参数抑制、模拟链路设计、数字相敏检波算法及开路短路校准方法。通过实测数据验证,在100kHz频率下基本精度可达0.5%以内,为维修现场、产线抽检及硬件调试提供了可携带的精密测量方案。全文
硬盘又快满了?用 Rust 打造的开源重复文件清理神器,一次解决 14 类存储难题
> 你的电脑里有多少个"副本"?下载文件夹里躺着的同名文件、照片库中几乎一样的连拍、被反复复制进不同目录的文档——这些重复文件清理起来费时费力,而它们正在悄悄吞掉你的磁盘空间。Czkawka 及其新一代图形界面 Krokiet 就是为此而生:一个完全免费、离线运行、用 Rust 写就的开源文件清理工具集,能在一分钟内找出重复内容、相似图片、空文件夹等 14 类"存储冗余",帮你把空间一寸寸抢回来。
我看MFC的过去、现在和未来
首先说句题外话,虽然我现在的“主业”是Qt,但自己扪心自问,对MFC的熟悉程度要超过Qt。正是由于有了对MFC的熟悉,才能在使用Qt时,比较清醒的认清两者的优劣之处,在此暂且不提。 这个话题也可以说是由来已久,众说纷纭,今时我也谈谈自己的感悟。 一、对MFC的总体看法 首先看看云风在其《游戏之旅-我的编程感悟》一书中对MFC的看法: “我所见到的程序员中,很多把C+
PyCaret 4.0 引擎去神化(God-Class Draining)实战:动词级迁移到原生 sklearn 的完整手册
PyCaret 4.0 在公开 API 层已经完全 OOP 化,但引擎内部一度仍将大量动词(verb)委托给 3.x 时代遗留的"神类"(god-class)。本文基于仓库中的动词迁移行动手册 [docs/for_developers/DRAINING_THE_GODCLASS.md](https://link.gitcode.com/i/33095e3501c42739e824f5aa39332
【异常】Codybuddy Error Code: 14003 too many requests 限流报错问题排查与解决指南
14003报错本质为服务端限流拦截,并非账号封禁或程序致命故障,90%以上的场景可通过等待冷却+规范使用行为解决。通过本文的排查步骤,可快速恢复工具使用,同时规避后续重复触发该问题。
高匿反爬实战:Python打造无痕爬虫,规避风控系统追踪
网络层匿踪:核心是使用住宅IP代理池,按真实用户IP画像匹配,控制请求频率;协议层匿踪:动态生成请求头(每次都不同),参数添加随机噪声,避免规律化;行为层匿踪:模拟人类的非规律行为(贝塞尔轨迹、随机停顿、非精准点击);设备层匿踪:伪造Canvas/WebGL指纹,禁用webdriver标识,每次请求更换指纹;核心原则:无痕爬虫的本质是“无限接近真实用户”,所有维度都要消除爬虫特征,而非单一维度伪装。打造真正的无痕爬虫需要全维度的匿踪策略,单一维度的伪装极易被高级风控系统识别。
20个实用的python 脚本
1. 文件重复查找器 实现思路 使用文件的哈希值来判断文件是否重复。 遍历指定目录,计算每个文件的哈希值。 将哈希值相同的文件视为重复文件。
安路TangDynasty和FD和JTAG驱动器安装
安路FPGA产品矩阵包含SALPHOENIX高性能、SALEAGLE高性价比和SALELF低功耗三大系列,广泛应用于网络通信、消费电子等领域。配套的TangDynasty(TD)集成开发环境支持标准设计输入,提供完整优化流程与调试工具。简要介绍了TD 6.2.1版本的安装步骤。
PDF文件夹去重实战:从哈希到内容识别的完整方案
文件去重是数据整理中的高频需求,而PDF格式因增量更新、元数据差异和线性化处理,常出现字节不同但内容一致的情况。单纯依赖文件名或大小无法准确识别重复,需借助哈希算法与内容解析技术。通过SHA-256计算文件指纹可快速筛除字节级重复,再结合PyMuPDF等库提取文本并归一化,实现内容级比对,从而精准定位重复文件。该方法适用于合同扫描件、论文库、电子书等场景,可高效清理存储空间,且支持离线运行,兼顾隐私与成本。工程实践中需注意扫描版PDF的OCR兜底、缓存优化和误判处理,确保自动化清理安全可控。本文给出了一套从
C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片
基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正
SIMATIC S7-1200, S7-1500 PID 控制[手册]
SIMATIC S7-1200, S7-1500 PID 控制[手册]
本地文件整理工具实战:规则引擎与去重清理三年下载夹
文件整理本质是数据治理在个人存储场景的落地:先扫描生成文件画像,再用规则引擎按扩展名、关键词、大小、时间等维度做条件匹配,命中后批量移动或重命名;重复文件检测通常采用“大小分桶+分段哈希+完整哈希”的两段式/三段式比对,降低全量读取开销。技术价值在于把高频人工判断固化为可复用规则,并以预览、日志、回滚保障操作安全。应用场景覆盖下载目录爆仓、素材归档、票据/论文分类、媒体按EXIF时间整理等。围绕本地文件整理工具,规则编排、去重清理、预览执行与回滚增量维护串成一套可落地流程,让数千文件在一个下午完成归档。
TMS_WebGMaps_1.9.8.0_Full_Source
TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder
下载文件夹自动整理:纯本地规则引擎、魔数识别与可回滚去重
文件自动分类本质上是对文件元数据、内容特征与业务规则进行匹配决策的过程。其原理通常先提取扩展名、文件头魔数、大小和修改时间等特征,再通过规则引擎按优先级判定归属,配合哈希分桶与全量哈希实现可靠去重。相比人工整理,这种本地优先方案能显著降低高频决策成本,避免上传敏感数据,并通过预演和操作日志实现可回滚。它适用于下载文件夹、桌面、素材库等长期堆积场景,尤其适合需要批量归档、重复文件隔离和按年月规则重排的工程实践。围绕一个纯本地下载文件夹整理工具,可进一步拆解规则匹配、魔数识别、去重与撤销日志的完整实现。
ET2012新版免狗免安装绿色软件
ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,
基于本地LLM的AI Agent:智能文件整理与磁盘清理实战
文件管理与磁盘清理是计算机用户普遍面临的基础性挑战。传统方法依赖预设规则,缺乏对文件内容与上下文的理解,导致清理效率低下且风险较高。其核心原理在于无法进行语义分析与关联推理。随着大语言模型(LLM)技术的发展,AI Agent为解决此问题提供了新的技术路径。通过将LLM作为决策大脑,结合文件系统操作工具,AI Agent能够理解自然语言指令、分析文件语义并进行推理决策,从而实现更智能、更安全的自动化整理。这项技术的价值在于将用户从繁琐的手动操作中解放出来,实现人机协同的高效数字资产管理。其应用场景广泛,尤其
PPT模板库高效整理指南:从分类到自动化批量管理
在个人资源管理场景中,面对海量文件时,核心问题往往不是存储而是检索效率。当PPT模板积累到上万份,传统的文件夹层级与人工命名已无法支撑快速使用,此时需要引入一套系统化的整理方法论与自动化工具链。通过设计科学的分类体系、制定统一命名规范,并借助Python脚本实现批量扫描、去重、重命名与预览图生成,能够将杂乱的素材库转化为可快速检索的知识资产。本文从资源管理的基本概念出发,阐述自动化处理的技术原理与实用价值,并结合实际应用场景,详细拆解如何用脚本解决文件重复、分类混乱、检索困难等痛点,最终帮助读者建立一套随取
知道hash值如何搜索文件
以下仅支持电驴服务器搜索(ed2k搜索),不支持KAD搜索。 一.知道资源hash值如何搜索文件 表达式: ed2k::文件哈希值 举例,我知道一个文件的hash值是:E8C636D0C0486378BF61E6A3000D0FB7 我就可以在选择搜索方式“服务器”或者“全局服务器”,然后输入: ed2k::E8C636D0C0486378BF61E6A3000D0FB7
视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界
在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。
【算法拾光】链表 哈希表|K个一组翻转链表 + 两数之和
K个一组翻转链表需分段反转,借助哑节点与前驱指针维护连接,避免断链;两数之和利用哈希表实现O(1)查找,空间换时间,高效定位目标组合。前者考察链表指针操作,后者聚焦映射关系构建,均为面试高频题。
415



被折叠的 条评论
为什么被折叠?



