【hadoop】hadoop学习笔记-回收站

本文介绍如何在Hadoop中开启并配置回收站功能,防止误删重要数据。通过修改core-site.xml文件启用回收站,并设置清理间隔为1天。演示了文件删除后移动到.Trash目录的过程及如何恢复数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop回收站trash,默认是关闭的。
习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了

1. 修改conf/core-site.xml

增加

<property>  
  <name>fs.trash.interval</name>  
  <value>1440</value>  
  <description>Number of minutes between trash checkpoints.  
  If zero, the trash feature is disabled.  
  </description>  
</property>  

默认是0.单位分钟。这里我设置的是1天(60*24)
删除数据rm后,会将数据move到当前文件夹下的.Trash目录

2. 测试

1)新建目录input

hadoop/bin/hadoop fs -mkdir input    

2)上传文件

[root@master:/data/soft]# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input  

3)删除目录input

[root@master data]# hadoop fs -rmr input  
Moved to trash: hdfs://master:9000/user/root/input  

4)参看当前目录

[root@master data]# hadoop fs -ls  
Found 2 items  
drwxr-xr-x   - root supergroup          0 2011-02-12 22:17 /user/root/.Trash  

注意,并不是在哪里删的,.trash 文件就在哪个路径下。
.trash一般有固定的路径,例如,一般是/user/username/.Trash。自己找找就能找到。重复的文件一般按时间重命名了。最新的命名为Current。

5)恢复刚刚删除的目录

[root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input  /user/root/input  

6)检查恢复的数据

[root@master data]# hadoop fs -ls input  
Found 2 items  
-rw-r--r--   3 root supergroup         22 2011-02-12 17:40 /user/root/input/file01  
-rw-r--r--   3 root supergroup         28 2011-02-12 17:40 /user/root/input/file02  

6)删除.Trash目录(清理垃圾)

[root@master data]# hadoop fs -rmr .Trash  
Deleted hdfs://master:9000/user/root/.Trash  

参考自 http://yugouai.iteye.com/blog/1663294

在HDFS中,删除文件后,文件并不会立即被彻底删除,而是被移动到回收站(/trash)中。这样可以使文件能够快速恢复。可以通过设置时间阈值来控制文件在回收站中的存放时间,当文件的存放时间超过阈值或回收站被清空时,文件才会被彻底删除并释放占用的数据块。回收站的功能可以通过配置文件来设置。其中,fs.trash.interval参数用于设置文件在回收站中存放的时间间隔,通常设置为1天(1440分钟);fs.trash.checkpoint.interval参数用于设置回收站的检查点时间间隔,通常设置为2小时(120分钟)。这样,Hadoop回收站就能够实现删除数据的功能。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* [hadoop回收站](https://blog.youkuaiyun.com/m0_61083409/article/details/123935275)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [hadoop 回收站](https://blog.youkuaiyun.com/qq_36249352/article/details/123234450)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值