Linux下使用rsync最快速删除海量文件的方法

最新推荐文章于 2025-09-09 20:56:29 发布
最新推荐文章于 2025-09-09 20:56:29 发布
阅读量240 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 操作系统
原文链接：http://www.cnblogs.com/snifferhu/p/4601940.html
本文介绍了一种使用rsync工具替代rm命令来高效清除大量文件的方法。具体步骤包括安装rsync，创建临时文件夹，并利用rsync的--delete选项进行高速删除。
常用的删除命令rm -fr * 就不好用了，因为要等待的时间太长。所以必须要采取一些非常手段。我们可以使用rsync来实现快速删除大量文件。 

1、先安装rsync：  

  
  1. yum install rsync 

 

 

 2、建立一个空的文件夹： 
 

 

  

  
  1. mkdir /tmp/test 

 

 

 3、用rsync删除目标目录： 
 

 

  

  
  1. rsync --delete-before -a -H -v --progress --stats /tmp/test log 

 

 这样我们要删除的log目录就会被清空了，删除的速度会非常快
 

 

 

 
 


 

转载于:https://www.cnblogs.com/snifferhu/p/4601940.html

                

        




    

    
  



    



                



	

		

			

				
					
Linux下使用rsync最快速删除大量文件的方法

				
			

			

				

					Mrknowledge
				

				

					11-12
					
					9953
					
				

			

		

		

			
				
昨天遇到了要在Linux下删除海量文件的情况，需要删除三层哈希目录下的几十万个文件。
这个时候，我们常用的删除命令rm -fr * 就不好用了，因为要等待的时间太长。所以必须要采取一些非常手段。我们可以使用rsync来实现快速删除大量文件。
安装步骤：
1、先安装rsync：
复制代码代码如下:
yum install rsync
2、建立一个空的文件夹：
复制代码代码如下:
mk

			
		

	



                

            
              



	

		

			

				
					
Linux 删除一个文件 详解

				
			

			

				

					知识的灯塔，梦想的航船
				

				

					09-07
					
					1865
					
				

			

		

		

			
				
Linux 删除一个文件 详解

			
		

	



              


  
              

                


	

		

			

				
					
rsync备份海量文件时占用大量内存的解决方法

				
			

			

				

					01-10
				

			

		

		

			
				
在2.X的版本中，rsync备份时都是先列表再备份(添加或者删除)，在处理大量文件时，会耗费比较多的内存。 备份的时候，rsync扫描到的每个文件(目录也一样)，在它的列表中约占100字节的内存，如果加了–delete参数的话...

			
		

	





	

		

			

				
					
Linux技巧：一次删除一百万个文件的快方法

				
			

			

				

					01-20
				

			

		

		

			
				
	　昨天，我看到一个非常有趣的删除一个目录下的海量文件的方法。这个方法来自http://www.quora.com/How-can-someone-rapidly-delete-400-000-files里的Zhenyu Lee。  	　他没有使用find 或 xargs，他很有创意的利用...

			
		

	



		

			
		



	

		

			

				
					
Linux转移海量小文件的技巧

				
			

			

				

					lvshaorong的博客
				

				

					07-30
					
					9112
					
				

			

		

		

			
				
在做文件迁移或者服务器迁移的时候，有时候会遇到海量小文件的情况，尤其是有那种用户上传文件，图片，附件的服务器，动辄就是几十上百G的文件，而每个文件只有几K到几十K，使用普通的cp，scp，ftp传输非常慢而且不支持断点续传。如果通过先打包再传输的方式，要消耗掉大量的存储空间，而且压缩和解压又要消耗双倍的时间，非常不划算。下面介绍几种备份海量小文件的方法，持续更新。

1、rsync同步

通过cp...

			
		

	





	

		

			

				
					
打印机已联网，但打印机显示“未连接”，解决方案

				
			

			

				

					qq_40230540的博客
				

				

					09-08
					
					210
					
				

			

		

		

			
				
在弹出来的窗口中，选择 “Standard TCP/IP Port”，然后点击 “新端口” (New Port…在 “打印机名或IP地址” 栏中，输入您刚才从打印机配置页上找到的IP地址（例如192.168.1.105）。找到您的打印机图标，右键点击它，选择 “打印机属性” (注意不是单纯的“属性”)。打印机已联网，电脑未正确指向打印机的IP地址，也会显示“未连接”，查看方式改为“大图标”或“小图标”，找到并点击 “设备和打印机”。如果无法重启，可以先选择 “停止”，等待几秒后，再选择 “启动”。

			
		

	





	

		

			

				
					
【Linux游记】基础指令篇

				
			

			

				

					枫の大一分享
				

				

					09-05
					
					1145
					
				

			

		

		

			
				
摘要：本文介绍了Linux编程环境中的核心工具链，包括软件包管理（yum/apt）、Vim编辑器使用技巧、gcc/g++编译过程（预处理/编译/汇编/链接）、Makefile自动化构建、进度条程序实现及Git版本控制。重点讲解了yum软件包管理器的安装/卸载操作、vim三种模式切换方法、动态/静态链接区别，并提供了进度条示例代码和Makefile编写规范。文章采用轻松幽默的语言风格，旨在帮助初学者系统掌握Linux开发基础工具的使用方法。（149字）

			
		

	





	

		

			

				
					
Linux笔记---进程间关系与守护进程

				
			

			

				

					2302_80372340的博客
				

				

					09-09
					
					781
					
				

			

		

		

			
				
在操作系统中，是由，用于简化对多个关联进程的统一管理。它是 Unix/Linux 系统中进程组织的重要概念，主要为了方便信号传递、作业控制等操作。每个进程组由唯一的 进程组 ID（PGID） 标识。通常，进程组的创建者（称为 “组长进程”）的进程 ID（PID）会作为该进程组的 PGID（即 PGID = 组长进程的PID）。什么是有关联的进程呢？有父子关系的进程、通过管道相连的进程……这些在操作系统层面上有关联，需要相互协作的进程就叫有关联的进程。

			
		

	





	

		

			

				
					
WIN11控制面板中丢失BitLocker,找回WIN10控制面板中的BitLocker驱动器加密设置

				
			

			

				

					
				

				

					09-05
					
					369
					
				

			

		

		

			
				
摘要：Win10/Win11系统控制面板找不到BitLocker加密功能，可能因系统精简、功能禁用或服务关闭导致。针对非精简系统，可通过修改注册表（如PreventDeviceEncryption设为0）、开启BDESVC和ShellHWDetection服务（使用reg add和sc config命令）恢复功能，修改后需重启生效。具体操作命令及完整解决方案参见原文链接。（149字）

			
		

	





	

		

			

				
					
内存踩坏、堆栈帧破坏与WinDbg调试：一场Windows底层的猎凶之旅

				
			

			

				

					John_ToStr的博客
				

				

					09-07
					
					820
					
				

			

		

		

			
				
本文将从Windows的视角出发，深入剖析堆栈帧被破坏的底层原理，并手把手教你如何运用WinDbg这把利刃，像侦探一样层层剥茧，最终定位并解决这个让无数开发者头疼的难题。内存踩坏问题犹如程序世界的密室杀人案，现场（崩溃点）往往经过伪装。尤其是在崩溃时，Visual Studio 的调用堆栈窗口变成一片灰色，显示着"[帧可能缺失或不正确]"，或者用WinDbg查看时，得到的是毫无意义的。+-----------------------+  <- RBP (Base Pointer) 稳定指向这里。

			
		

	





	

		

			

				
					
Linux内核源码获取与编译安装完整指南

				
			

			

				

					zhaominyong的专栏
				

				

					09-06
					
					569
					
				

			

		

		

			
				
Linux内核源码获取与编译安装完整指南

			
		

	





	

		

			

				
					
Linux Mint下网卡的设置

				
			

			

				

					文档搬运工
				

				

					09-08
					
					261
					
				

			

		

		

			
				
把15年旧的台式机，从Windows改造成了Linux  Mint。发现USB无线网卡不能识别。在github上下载对应的网卡的驱动，make@make install后，问题依旧。使用lsusb命令查看，发现网卡是：Driver CDROM Mode。随后，将该命令绑定到UDEV , 使其开机后生效。使用以下命令，手工可以使得网卡生效。随后，开机后，网卡正常生效。需要拔掉再插上，才能识别。

			
		

	





	

		

			

				
					
2025年渗透测试面试题总结-60（题目+回答）

				
			

			

				

					soc的博客
				

				

					09-09
					
					982
					
				

			

		

		

			
				
安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。

			
		

	





	

		

			

				
					
PVE纵览-9.0重磅升级：全面解析新特性与升级指南

				
			

			

				

					DreamLife
				

				

					09-09
					
					417
					
				

			

		

		

			
				
PVE 9.0重磅升级：核心特性与升级指南 Proxmox VE 9.0正式发布，基于Debian 13和Linux 6.14内核，带来多项关键升级： 存储增强：支持厚置备LVM快照，优化SAN环境快照管理； SDN网络：新增软件定义网络功能，简化复杂网络配置； 高可用性：引入资源亲和性规则，优化工作负载分布； 移动端：重构管理界面，提升移动设备操作体验。 升级包含底层组件全面更新（QEMU 10.0.2、LXC 6.0.4等），建议新部署直接使用9.0版本，现有环境需评估升级风险。

			
		

	





	

		

			

				
					
linux三剑客

					
最新发布

				
			

			

				

					2401_85440017的博客
				

				

					09-09
					
					355
					
				

			

		

		

			
				
方法一：-v varname=value 变量名区分字符大小写。方法二：在program中直接定义方法1.变量外面的引号可以是单引号也可以是双引号​​​​方法2.变量外面的引号必须是双引号​​​​如果我们想定义多个变量用；号隔开即可如果你希望变量中间没有空格，则用空格隔开，逗号“，”会被识别为分隔符​​。

			
		

	





	

		

			

				
					
鸿蒙系统开发资料汇总：全面助力鸿蒙开发HarmonyOS

				
			

			

				

					abcdlwt的博客
				

				

					09-05
					
					938
					
				

			

		

		

			
				
《鸿蒙开发资源导航（2025最新版）》摘要 本资源导航系统梳理了鸿蒙开发的各类优质资源，构建了完整的学习路径。核心内容包括：官方权威文档（开发指南、API参考等）、DevEco Studio内置资源、开源项目库等基础资源；按学习阶段划分的入门/进阶/高级资源体系；覆盖文档、视频、社区等多元资源类型；分布式应用、元服务、AI开发等专题资源。特别提供2025年最新资源趋势：AI增强文档、交互式教程、VR学习等创新形态，以及行业垂直解决方案。资源采用双重分类体系（学习阶段+资源类型），每项均标注适用人群与使用建议

			
		

	





	

		

			

				
					
【HarmonyOS 6】Install Failed: error: failed to install bundle.code:9568322

				
			

			

				

					路漫漫亦无涯
				

				

					09-08
					
					368
					
				

			

		

		

			
				
摘要 HarmonyOS开发中遇到代码9568322安装失败问题，提示"签名验证失败"。该问题源于使用签名证书打包时未配置设备UDID。解决方法：通过HDC命令获取设备UDID（hdc shell bm get -u），并在AGC平台更新p7b签名文件，添加目标设备UDID。使用自动签名则不会出现此问题。需注意配置HDC环境变量以便执行相关命令。

			
		

	





	

		

			

				
					
Linux 文件系统及磁盘相关知识总结

				
			

			

				

					摩霄志在潜修羽，会接鸾凰别苇丛
				

				

					09-05
					
					1394
					
				

			

		

		

			
				
设备文件是 Linux 系统中的一种特殊文件类型，通常位于 /dev 目录下。它代表了设备接口，使得用户空间的程序可以通过标准的文件操作来访问和控制硬件设备。设备文件为周边设备提供了简单的接口，如打印机、硬盘等，也可以访问没有连接到任何真实设备的系统资源，如随机数生成器等。

			
		

	





	

		

			

				
					
Linux 应用崩溃捕获工具：设计原理与实现思路解析（C/C++代码实现）

				
			

			

				

					chen1415886044的博客
				

				

					09-07
					
					817
					
				

			

		

		

			
				
在 Linux 环境中，应用程序崩溃往往是开发者与用户都不愿面对的场景。传统崩溃机制仅能在终端输出简短提示（如“Segmentation fault”），对于图形化桌面环境（KDE、GNOME 等）中的应用，甚至会直接“无征兆退出”，既无法让用户理解原因，也给开发者排查问题带来极大障碍。**Crash Catcher** 作为一套面向 Linux 的崩溃处理解决方案，通过“共享库+辅助程序”的设计，为这一问题提供了轻量、通用的解决思路，本文将从设计背景、核心原理、实现思路及相关技术知识点展开解析。

			
		

	





	

		

			

				
					
linux系统如何快速清理海量文件

				
			

			

				

					01-16
				

			

		

		

			
				
清理海量文件可以采取以下几种方法来加快速度：

1. 使用find命令：使用find命令可以快速定位并删除指定目录下的文件。比如，可以使用以下命令来删除某个目录下的所有文件和子目录：
```bash
find /path/to/directory -type f -delete
```
这将会递归地删除指定目录下的所有文件。

2. 使用xargs命令：结合find命令和xargs命令可以更快地删除海量文件。比如，可以使用以下命令来找到某个目录下的所有文件，并将它们传递给rm命令删除：
```bash
find /path/to/directory -type f | xargs rm
```
这将避免rm命令一次只能删除一个文件的性能问题，加快删除速度。

3. 使用rsync命令：rsync命令可以在不同目录之间同步文件，也可以用来删除文件。比如，可以使用以下命令来同步一个空目录到某个目录以实现删除所有文件的目的：
```bash
rsync --delete-before --force -d /empty/directory/ /path/to/directory
```
这将会把空目录下的文件列表同步到指定目录，从而达到删除全部文件的目的。

总的来说，结合find、xargs和rsync等命令，可以快速而有效地清理海量文件，提高清理的效率。当然，在操作时需要谨慎，确保不会误删重要文件。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值