Hadoop Trash回收站使用指南

本文深入探讨HDFS回收站机制,包括配置方法、检查点原理、清空回收站指令及注意事项,帮助读者理解如何有效管理和恢复误删的文件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

版权声明:本文为博主原创文章,未经博主允许不得转载。    https://blog.youkuaiyun.com/SunnyYoona/article/details/78869778
我们在删除一个文件时,遇到如下问题,提示我们不能删除文件放回回收站:

sudo -uxiaosi hadoop fs -rm -r tmp/data_group/test/employee/employee_salary.txt
17/12/06 16:34:48 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 72000000 minutes, Emptier interval = 0 minutes.
17/12/06 16:34:48 WARN fs.TrashPolicyDefault: Can't create trash directory: hdfs://cluster/user/xiaosi/.Trash/Current/user/xiaosi/tmp/data_group/test/employee
rm: Failed to move to trash: hdfs://cluster/user/xiaosi/tmp/data_group/test/employee/employee_salary.txt. Consider using -skipTrash option
去回收站对应目录下观察一下,得出的结论是:无法创建目录employee,因为employee文件已经存在,自然导致employee_salary.txt文件不能放回收回站:

-rw-r--r--   3 xiaosi xiaosi  352 2017-12-06 16:18 hdfs://cluster/user/xiaosi/.Trash/Current/user/xiaosi/tmp/data_group/test/employee
跟如下是同样的道理:

xiaosi@yoona:~$ ll employee
-rw-rw-r-- 1 xiaosi xiaosi 0 12月  6 16:56 employee
xiaosi@yoona:~$
xiaosi@yoona:~$
xiaosi@yoona:~$ mkdir employee
mkdir: 无法创建目录"employee": 文件已存在
借此机会,详细研究了一下HDFS的Trash回收站机制。

1. 配置
HDFS的回收站就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。你可以通过设置如下属性来启用此功能(默认是不开启的):

<property>  
    <name>fs.trash.interval</name>  
    <value>1440</value>  
    <description>Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled.</description>  
</property>  

<property>  
    <name>fs.trash.checkpoint.interval</name>  
    <value>0</value>  
    <description>Number of minutes between trash checkpoints. Should be smaller or equal to fs.trash.interval. If zero, the value is set to the value of fs.trash.interval.</description>  
</property>
属性    说明
fs.trash.interval    分钟数,当超过这个分钟数后检查点会被删除。如果为零,回收站功能将被禁用。
fs.trash.checkpoint.interval    检查点创建的时间间隔(单位为分钟)。其值应该小于或等于fs.trash.interval。如果为零,则将该值设置为fs.trash.interval的值。
2. Trash
启用回收站功能后,使用rm命令从HDFS中删除某些内容时,文件或目录不会立即被清除,它们将被移动到回收站Current目录中(/user/${username}/.Trash/current)。如果检查点已经启用,会定期使用时间戳重命名Current目录。.Trash中的文件在用户可配置的时间延迟后被永久删除。回收站中的文件和目录可以简单地通过将它们移动到.Trash目录之外的位置来恢复:

sudo -uxiaosi hadoop fs -rm tmp/data_group/test/employee/employee_salary.txt
17/12/06 17:24:32 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 72000000 minutes, Emptier interval = 0 minutes.
Moved: 'hdfs://cluster/user/xiaosi/tmp/data_group/test/employee/employee_salary.txt' to trash at: hdfs://cluster/user/xiaosi/.Trash/Current
说明:

Deletion interval表示检查点删除时间间隔(单位为分钟)。这里是fs.trash.interval的值。NameNode运行一个线程来定期从文件系统中删除过期的检查点。
Emptier interval表示在运行线程来管理检查点之前,NameNode需要等待多长时间(以分钟为单位),即检查点创建时间间隔。NameNode删除超过fs.trash.interval的检查点,并为/user/${username}/.Trash/Current创建一个新的检查点。该频率由fs.trash.checkpoint.interval的值确定,且不得大于Deletion interval。这确保了在emptier窗口内回收站中有一个或多个检查点。
例如,可以设置如下:

fs.trash.interval = 360 (deletion interval = 6 hours)
fs.trash.checkpoint.interval = 60 (emptier interval = 1 hour)
这导致NameNode为Current目录下的垃圾文件每小时创建一个新的检查点,并删除已经存在超过6个小时的检查点。

在回收站生命周期结束后,NameNode从HDFS命名空间中删除该文件。删除文件会导致与文件关联的块被释放。请注意,用户删除文件的时间与HDFS中相应增加可用空间的时间之间可能存在明显的时间延迟,即用户删除文件,HDFS可用空间不会立马增加,中间有一定的延迟。

3. 检查点
检查点仅仅是用户回收站下的一个目录,用于存储在创建检查点之前删除的所有文件或目录。如果你想查看回收站目录,可以在/user/${username}/.Trash/{timestamp_of_checkpoint_creation}处看到:

hadoop fs -ls hdfs://cluster/user/xiaosi/.Trash/
Found 3 items
drwx------   - xiaosi xiaosi          0 2017-12-05 08:00 hdfs://cluster/user/xiaosi/.Trash/171205200038
drwx------   - xiaosi xiaosi          0 2017-12-06 01:00 hdfs://cluster/user/xiaosi/.Trash/171206080038
drwx------   - xiaosi xiaosi          0 2017-12-06 08:00 hdfs://cluster/user/xiaosi/.Trash/Current
最近删除的文件被移动到回收站Current目录,并且在可配置的时间间隔内,HDFS会为在Current回收站目录下的文件创建检查点/user/${username}/.Trash/<日期>,并在过期时删除旧的检查点。

4. 清空回收站
首先想到的是只要删除整个回收站目录,将会清空回收站。诚然,这是一个选择。但是我们有更好的选择。HDFS提供了一个命令行工具来完成这个工作:

hadoop fs -expunge
该命令使NameNode永久删除回收站中比阈值更早的文件,而不是等待下一个emptier窗口。它立即从文件系统中删除过期的检查点。

5. 注意点
回收站功能默认是禁用的。对于生产环境,建议启用回收站功能以避免意外的删除操作。启用回收站提供了从用户操作删除或用户意外删除中恢复数据的机会。但是为fs.trash.interval和fs.trash.checkpoint.interval设置合适的值也是非常重要的,以使垃圾回收以你期望的方式运作。例如,如果你需要经常从HDFS上传和删除文件,则可能需要将fs.trash.interval设置为较小的值,否则检查点将占用太多空间。

当启用垃圾回收并删除一些文件时,HDFS容量不会增加,因为文件并未真正删除。HDFS不会回收空间,除非文件从回收站中删除,只有在检查点过期后才会发生。

回收站功能默认只适用于使用Hadoop shell删除的文件和目录。使用其他接口(例如WebHDFS或Java API)以编程的方式删除的文件或目录不会移动到回收站,即使已启用回收站,除非程序已经实现了对回收站功能的调用。

有时你可能想要在删除文件时临时禁用回收站,也就是删除的文件或目录不用放在回收站而直接删除,在这种情况下,可以使用-skipTrash选项运行rm命令。例如:

sudo -uxiaosi hadoop fs -rm -skipTrash tmp/data_group/test/employee/employee_salary.txt
这会绕过垃圾回收站并立即从文件系统中删除文件。

资料:

https://developer.ibm.com/hadoop/2015/10/22/hdfs-trash/

https://my.oschina.net/cloudcoder/blog/179381

http://debugo.com/hdfs-trash/

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#File_Deletes_and_Undeletes
--------------------- 
作者:SunnyYoona 
来源:优快云 
原文:https://blog.youkuaiyun.com/SunnyYoona/article/details/78869778 
版权声明:本文为博主原创文章,转载请附上博文链接!

### HDFS分布式文件系统的实验配置与操作指南 #### 1. 格式化HDFS 在启动Hadoop集群之前,需要先格式化HDFS的名称节点。此操作会初始化元数据存储并创建必要的目录结构[^1]。 ```bash hdfs namenode -format ``` #### 2. 开启HDFS回收站功能 默认情况下,HDFS回收站功能未被启用。如果希望删除的文件能够暂时存放在回收站中而不是立即永久删除,则需修改`hdfs-site.xml`配置文件来开启该功能[^2]。 编辑 `hdfs-site.xml` 文件,添加如下属性: ```xml <property> <name>fs.trash.interval</name> <value>1440</value> <!-- 单位为分钟,默认一天 --> </property> <property> <name>fs.trash.checkpoint.interval</name> <value>360</value> <!-- 检查点间隔时间 --> </property> ``` 完成上述设置后,重启NameNode使更改生效。随后可以通过删除文件测试回收站功能是否正常工作。 #### 3. 数据冗余与多副本机制 为了提升可靠性和容错能力,HDFS采用了一种策略——即对于每一份写入的数据都会自动生成多个副本,并将其分布到不同的DataNodes上[^3]。这种设计使得即使某些硬件发生故障,整个系统仍然可以从其他可用的副本来读取数据。 #### 4. 查看Edits日志 HDFS维护了一份名为`edits`的日志文件,用于追踪所有的命名空间变更操作[^4]。这些日志通常是以二进制形式存在;然而,当需要分析具体内容时,可以利用内置工具转换成更易理解的XML格式。 执行以下命令导出当前活动期间产生的所有事务记录至标准输出流: ```bash hdfs oev -i edits_inprogress* -o output.xml ``` 其中 `-i` 参数指定输入源路径而 `-o` 则定义目标位置以及期望的结果格式。 #### 5. 安全模式管理 有时出于保护目的或者正在进行重要后台任务的原因,NameNode可能会进入一种叫做“安全模式”的特殊状态,在这个时候不允许任何客户端发起新的I/O请求直到管理员显式解除限制为止[^5]。 离开安全模式的方法很简单只需运行下面这条指令即可: ```bash hdfs dfsadmin -safemode leave ``` 同样也可以查询当前所处的状态或是等待其自动退出这两种方式都十分便捷实用。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值