hadoop文件误删恢复（官网自带回收站设置）

最新推荐文章于 2022-03-25 16:39:40 发布
最新推荐文章于 2022-03-25 16:39:40 发布
阅读量581 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop 回收站
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AntKengElephant/article/details/103030358
本文详细解析了Hadoop中垃圾桶功能的配置方法，重点介绍了fs.trash.interval参数的作用及设置，通过实例演示如何在core-site.xml文件中配置，使删除的文件在回收站中保留指定时间。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/core-default.xml

官网的配置释义

Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. This option may be configured both on the server and the client. If trash is disabled server side then the client side configuration is checked. If trash is enabled on the server side then the value configured on the server is used and the client configuration value is ignored.

翻译：

分钟数，在此分钟之后，检查点将被删除。 如果为零，则禁用垃圾桶功能。 可以在服务器和客户端上都配置此选项。 如果在服务器端禁用了垃圾箱，则将检查客户端配置。 如果在服务器端启用了垃圾回收，那么将使用服务器上配置的值，而忽略客户端配置值。

配置文件/etc/hadoop/core-site.xml，在其中添加如下信息：
<property>
    <name>fs.trash.interval</name>
    <value>10080</value>
    <description>
      Number of minutes between trash checkpoints. If zero, the trash feature is disabled.
    </description>
</property>

回收站时间为一周（超过则用这个方法无法恢复）
其中10080代表分钟数，即代表删除的文件或目录在".Trash"(回收站)中保留的时间，可自行设置。保存即可。
hdfs dfs -lsr 时暂时看不到.Trash，再删除某个文件或者目录之后， 再次用lsr即可看到所在目录下的回收站.Trash已经建好：

上述可以看见删除的文件

如果恢复可以找到对应删除的文件执行

hdfs dfs -mv /hdfs目录/.Trash/对应的删除文件  /hdfs恢复路径

Hadoop回收站恢复已删除文件的服务器
YjKubernetes的博客
10-06 676
在这篇文章中，我们将探讨如何使用Hadoop回收站(trash)来恢复已删除的文件。它提供了一个可靠的文件系统Hadoop分布式文件系统(HDFS)，并且拥有回收站功能，可以在文件被删除后进行恢复。通过执行上述步骤，您可以使用Hadoop回收站来恢复已删除的文件。请注意，文件只能在回收站保留的时间范围内进行恢复，因此请尽快执行恢复操作以避免文件被永久删除。通过合理利用回收站功能，可以提高数据的安全性和可靠性，减少意外删除数据造成的损失。这将显示回收站中的文件列表，包括文件的权限、大小、修改日期等信息。
Hadoop误删文件后恢复
SW_LCC的博客
11-05 2340
删除文件 不小心把hdfs里面的文件夹删除了，执行命令如下: hdfs dfs -rm -r /user/hadoop/analyse/game 到回收站中找到文件 设置回收站 <property> <name>fs.trash.interval</name> <value>1440</value> </property> 如果有设置回收站，hadoop删除文件时，不会立即删
如何恢复Hadoop中被删除的文件
天道酬勤
08-08 8456
hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.Trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下： 　　1 设置.Trash文件夹 　　如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下： 　　 　　fs.trash.inter
hadoop的回收站，帮助恢复误删的数据
03-06 4356
利用 hadoop fs -rmr (目录名)删除目录时易出现误删除的操作，如何解决：建立回收站！ 具体操作为： 找到配置文件core-site.xml，在其中添加如下信息：     fs.trash.interval     10080           Number of minutes between trash checkpoints. If z
hadoop配置文件还原_老师，我好像把hadoop配置文件给删了，要怎么办
weixin_39622398的博客
12-19 352
我在安装完hadoop后，在配置到mkdir temp 这个地方的时候，我用了rm-rf把他删了，结果好像很多文件都没了，我这个要重新安装hadoop吗？还是我要重新导入相关的配置文件[hadoop@hadoop001 app]$ cd temp[hadoop@hadoop001 temp]$ pwd/home/hadoop/app/temp[hadoop@hadoop001 temp]$ rm ...
Hadoop回收站trash-恢复删除的文件
09-04
关于hadoop恢复删除的文件，敬请参考
【HDFS文件管理艺术】：回收站结合的最佳实践与流程优化
![【HDFS文件管理艺术】：回收站结合的最佳实践与流程优化]...类似于操作系统中的回收站功能，HDFS的回收站同样能够帮助用户临时存储已删除的文件，以便用户在必要时恢复这些文件。 ## 回收站机制的工作原理 当删除HD
hdfs文件恢复
最新发布
05-24
恢复文件至原位置或其他目录 一旦定位到所需的文件，即可将其迁移到其他安全的位置。例如，使用 `-mv` 命令完成迁移过程： ```bash hadoop fs -mv /user/<username>/.Trash/Current/<filename> /destination/path/ ...
hadoop之HDFS
qq_17200461的博客
11-07 3023
Hadoop之HDFS简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 功能快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/C
基于Hadoop的云盘系统：安全稳定海量存储解决方案
为防止误删除，许多网盘系统提供回收站或版本历史功能，允许用户恢复误删的文件。 ### Hadoop网盘系统的特点 Hadoop网盘系统结合了Hadoop框架的优势，为用户提供了一个安全稳定、海量存储的网盘服务。 1. **安全...
hadoop集群调优及MR调优
do_what_you_can_do的博客
11-09 3642
一、操作系统调优 1、提高网络连接上限。以增加网络带宽的利用率，即修改内核net.core.somaxcon参数 2、关闭swap交换分区。以免内存不足时，数据会溢写到磁盘，读取时再从磁盘读取，增加数据读取时间 3、调整预读缓存区的大小。将数据预读，减少磁盘IO时间 二、HDFS调优 1、配置文件一：core-site.xml 1>hadoop.tmp.dir：
惊心动魄的Hadoop-6小时350T数据恢复
fengruiqi的博客
06-06 1662
这次文章是记录一下数据恢复。 上周五在调试Spark数据的时候发现了一个问题，就是一直显示No lease的问题，我们的实时处理程序升级之后，处理的数据量在一个小时内暴增1T。我们的小时程序Spark，有的单个key数据重复导致value值增大，程序运行卡住，根据网上查的参数进行调整。 Hadoop 在调整前，将Hadoop进行关闭 . stop-all.sh 进行关...
hadoop回收站
m0_67402341的博客
03-25 1571
一：回收站简介 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash 回收站里的文件可以快速恢复。 可以设置一个时间阈值，当回收站里文件的存放时间超过这个阈值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。 回收站功能如下： hadoop 的回收站trash功能默认是关闭的，所以需要在core-site.xml中手动开启 cd /usr/local/hadoop/hadoop-3.1.2 vim etc/hadoop/core-site.xml 二：删除一个文件 ./bi
hadoop误删除文件恢复的方法
狐狸叫
10-22 4615
1.修改conf/core-site.xml,增加       fs.trash.interval      1440      Number of minutes between trash checkpoints.       If zero, the trash feature is disabled.            默认是0.单位分钟。这里我设置的是1
hadoop误删除恢复
ajhygb9829的博客
03-29 353
在平时 我们在操作hadoop命令的时候 会误删除某些文件 利用 hadoop fs -rmr(目录名)删除目录时易出现误删除的操作 为了防止这种情况我们需要打开回收站 具体操作为： 找到配置文件core-site.xml，在其中添加如下信息： <property> <name>fs.trash.interval</name>...
hadoop 误删目录的恢复方法
LegenDavid's warehouse
01-23 3266
HDFS误删数据怎么办？（所谓人有失手马有失蹄，在处理HDFS中的数据时总会遇到一些“小”意外的） 答： 别担心，正常情况下，它并没有真正的删除，而是暂时先乖乖的躺在回收站里，大约20小时后才会被彻底的清理干净；当然如果在删除操作时加上了“-skipTrash”参数，那么这份数据是无法恢复的，因此我们这边建议不要随意随意使用“-skipTrash”参数。  那怎么把数据从回收站里
如何恢复Hadoop的误删除文件
SunWuKong_Hadoop的博客
12-15 6704
利用 hadoop fs -rmr (目录名)删除目录时易出现误删除的操作，如何解决：建立回收站！ 具体操作为： 找到配置文件core-site.xml，在其中添加如下信息： &lt;property&gt;     &lt;name&gt;fs.trash.interval&lt;/name&gt;     &lt;value&gt;10080&lt;/value&gt;     &lt;...
在不开启回收站的情况下恢复Hadoop误删除文件
ciqingloveless的博客
04-22 1267
这个问题其实比较严重，提前说一下结论，能恢复的只有执行删除后未删除的数据，已经删除的数据无法恢复。 什么叫执行删除后未删除的数据呢，因为hadoop执行删除时是在edits文件中添加一个标记，然后慢慢删除，这其中有个过程，假如你只删除一个文件，那我估计这种方式是无法恢复的，这个办法只能恢复标记删除而未删除的记录。 停止Hadoop集群 停止集群这一步的时间，决定了你能恢复数据的多少，假如停止过慢，.........
hadoop误删hadoop用户如何恢复
03-27
### 找回被误删的 Hadoop 用户账户 在分布式存储系统中，Hadoop 的用户管理和权限控制是非常重要的部分。如果用户的账户被误删除，则需要根据具体的情况采取不同的措施来进行恢复。 #### 1. **检查 Kerberos 配置** 如果 Hadoop 使用了 Kerberos 进行身份认证，那么用户账户可能是在 Kerberos KDC 中定义的。此时可以通过以下方式尝试恢复： - 登录到 Kerberos Key Distribution Center (KDC)，并查看是否存在备份的日志记录或者历史操作记录。 - 利用 `kadmin` 工具重新创建用户账户。命令如下所示： ```bash kadmin.local -q "addprinc username" ``` 上述命令中的 `username` 是指需要恢复的用户名[^1]。 #### 2. **检查 HDFS 权限配置** 即使用户账户本身被删除，在 HDFS 文件系统的元数据中仍然可能存在与该用户相关的权限设置。这些信息通常保存在 NameNode 的编辑日志 (`edits`) 和 FsImage 文件中。以下是具体的解决办法： - 查看 HDFS 日志文件，确认是否有针对此用户的最近修改记录。 - 如果存在相关记录，可以手动调整 HDFS 权限以匹配原始状态。例如： ```bash hdfs dfs -chown user:group /path/to/directory ``` #### 3. **利用 DataNode 副本机制** 当某个 DataNode 出现故障时，HDFS 自动从其他正常工作的 DataNode 复制丢失的数据块以维持冗余度[^2]。因此即使某些节点上的数据暂时不可访问，只要大多数副本完好无损，就可以通过集群内的同步过程逐步修复受影响的部分。 此外还可以关注以下几个关键指标来判断当前健康状况以及潜在风险点： - 待处理复制请求数量(`pendingReplicationBlocksCount`) - 缺少足够副本次数的区块数目(`underReplicatedBlocksCount`) - 损坏副本总数目(`corruptReplicaBlocksCount`) 下面展示了一段 Java 方法片段用于更新上述统计数值逻辑示例代码： ```java public void updateState() { this.pendingReplicationBlocksCount = pendingReplications.size(); this.underReplicatedBlocksCount = neededReplications.size(); this.corruptReplicaBlocksCount = corruptReplicas.size(); } ``` #### 4. **管理平台的手工干预** 对于像 ManageOne 这样的综合管理系统来说，在发生异常情况下的确有可能需要管理员介入完成特定任务才能恢复正常运作流程[^4]。这意味着即便基础服务层面已经具备一定程度自动化能力但仍不可避免地依赖外部输入辅助决策制定过程。 --- ### 总结 综上所述，要成功找回因意外事件而消失掉的那个 hadoop 客户端账号主要取决于几个方面因素共同作用的结果；包括但不限于kerberos域控制器内部留存痕迹挖掘、namenode持久化结构解析还原路径探索等方面工作都需要逐一落实到位才行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值