HDFS 空间回收在利用 & 文件删除和取消

最新推荐文章于 2025-07-05 23:36:09 发布
原创 最新推荐文章于 2025-07-05 23:36:09 发布 · 790 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Hadoop分布式文件系统(HDFS)中的文件删除过程及其回收机制。当文件被删除时，并非立即从HDFS中移除，而是重命名到/trash目录下，以便在配置的时间期限内可以恢复。一旦过期，NameNode会从命名空间中彻底删除文件并释放相关块。
参考地址：http://hadoop.apache.org/docs/stable/hdfs_design.html#File+Deletes+and+Undeletes

hadoop fs -expunge 的说明，以及HDFS 空间回收在利用
当一个文件被一个用户或者一个文件删除，它不是立刻从HDFS上移除，相反，HDFS首先将其重命名到/trash 目录，只要这个文件还在 /trash 它能快速的恢复，文件保留在配置文的指定时间内，在/trash 到期后，NameNode 从 HDFS namespce 删除这个文件，删除这个文件将释放与这个文件相关的blocks， 注意，在一个文件被用户删除时和在空闲的HDFS相应的增加有可能有明显的延迟。
大数据之hdfs详解之五：垃圾回收站剖析
Sylvia_D507的博客
10-13 767
首先需要明白一点，现在linux系统好像没有回收站的说法了，所以在删除别人的文件或文件夹之前一定要慎重，毕竟rm命令是高危命令，删除了就没有了，所以对于高危命令，我们要保持敬畏之心. hdfs在部署的时候默认垃圾回收站是禁用的，因此hdfs是可以开启垃圾回收站的。 先看看官网对回收站的解释： 第一个参数：fs.trash.interval=0 表示禁用 Number of minutes aft...
【HDFS】【HDFS架构】【HDFS Architecture】【架构】
wq6qeg88的博客
02-17 1113
1 Introduction介绍 The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems
HDFS删除并清空回收站
weixin_30666753的博客
05-17 700
删除文件并放入回收站： 　　hdfs dfs -rm -f /path 删除文件不放入回收站： 　　hdfs dfs -rm -f -skipTrash/path 清空回收站： 　　hdfs dfs -expunge (执行完之后会打一个checkpoint，并不会立即执行，稍后会执行清空回收站操作) 转载于:https://www.cnblogs.com/0xcafedaddy...
HDFS- 空间回收
Piepis的博客
08-05 398
文件删除和取消删除 当客户端发起一个删除指令：Hadoop fs -rm /park01/.txt,这个指令会传给namenoe 当namenode收到指令后，做路径和权限检测，如果检测都通过，会将对应的文件信息从内存里删除，此时，文件数据并不是马上就从集群上被删除。 datanode向namenode发送心跳时（默认时3s周期），会领取删除指令，然后从磁盘上将文件删除。 如果启用了垃圾箱配置，则 FS Shell 删除的文件不会立即从 HDFS 中删除，而是 HDFS 将其移动到垃圾目录（/user/
hdfs如何添加和撤销数据节点
weixin_39950222的博客
09-09 331
https://www.jianshu.com/p/cdda3390b3ae 在HDFS中提供了dis.hosts (include文件)文件和dfs.exclude文件(exclude文件)，对连接到namenode的数据节点进行管理，include和exclude保存在FNamesystem中的hostsReader中， Include文件：指定了可以连接到namenode的数据节点列表 ...
HDFS空间不足解决方法
weixin_38425162的博客
06-04 4659
1、执行sudo -u hdfs hadoop fs -du -h / 查询hdfs中各目录的占用的空间，进入占用最多的目录中（一般是日志或临时文件） 2、找到目录 /user/root/.sparkStaging 占用了大量空间，此目录下存放的是各spark历史任务依赖文件 3、执行hdfs dfs -rm -r /user/root/.sparkStaging/* 删除此目录下的文件夹 4、删除的文件会被保存到/user/root/.Trash，清空垃圾桶即可 ...
【Hadoop】HDFS入门解析
Together
11-04 1万+
一、Hadoop三大组件 1.HDFS 分布式文件系统 2.MapReduce 分布式离线计算框架 ​3.Yarn 资源调度 1.HDFS 管理者：NameNode 1）作用 1.管理整个文件系统的元数据/名字空间/目录树 2.管理每一个路径/文件所对应的block块信息 3.管理DataNode的心跳日志 项目 2）NameNode元数据持久化的2...
GFS 谷歌文件系统论文笔记（GFS 即 HDFS 原型）
qq_44577070的博客
04-24 2212
大数据组件 HDFS 即 GFS 开源实现，用于存储非结构化数据 。上层还有 HBase（Big Table）用于存储结构化数据。再上层就是 MapReduce 计算框架。
Hadoop之HDFS
最新发布
如无必要勿增实体
07-05 720
HDFS Shell操作摘要 HDFS提供了丰富的Shell命令进行文件系统操作，包括：启动集群、显示目录(-ls)、创建目录(-mkdir)、文件移动(-moveFromLocal)、内容追加(-appendToFile)、查看内容(-cat)、权限管理(-chmod等)、文件上传下载(-copyFromLocal/-copyToLocal)、文件复制移动(-cp/-mv)、合并下载(-getmerge)等。
HDFS design
03-05
##### 11.1 文件删除与取消删除 当用户删除文件时，HDFS并不会立即释放这些文件占用的空间。用户可以在一段时间内取消删除操作，以便恢复误删的文件。 ##### 11.2 减少复制因子 用户可以根据需求减少文件的复制...
三种恢复 HDFS 上删除文件的方法
Hadoop技术博文
01-15 6292
本文原文：https://www.iteblog.com/archives/2321.html，如下面格式排版错乱，请点击下面阅读原文进入本博客阅读。我们每天都可能会操作 HDFS 上的文件，这就很难避免误操作，比如比较严重的误操作就是删除文件。本文针对这个问题提供了三种恢复误删除文件的方法，希望对大家的日常运维有所帮助。通过垃圾箱恢复HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hado
如何恢复在HDFS中删除的文件
hotbigdata的博客
04-20 5648
       在大数据平台中，hdfs里面如果误删除文件后，我们需要对文件进行恢复，但是如果没有做相关配置，或者预先做设置，则会导致灾难性的后果，o(╥﹏╥)o       我们可以通过下面几种方式来恢复误删除文件：       在垃圾回收站中恢复：hdfs中提供类似其他文件系统中的垃圾回收站的功能，被删除的文件会被移动到该回收站中，也就是有的同学想要腾出空间，使用了hadoop fs -rmr ...
如何恢复Hadoop中被删除的文件
天道酬勤
08-08 8470
hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.Trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下： 　　1 设置.Trash文件夹 　　如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下： 　　 　　fs.trash.inter
SVN:找到并恢复被误删除的目录/文件
热门推荐
w171066的专栏
11-17 5万+
这周一发现一个很重要的库里面的rel_tags目录没有了，赶紧查看日志。找到下面的文章，使用了如下方法： 1.在本地workingcopy中，用TortoiseSVN->Showlog查看版本库的历史记录。可以用search。 2.找到删除该文件或者文件夹的版本，在Logmessage里右键Revertthechangesfromthisrevision。 3.该文件或文件夹就被恢复到本地的
CDH5.14定期清理指南
辉哥大数据
01-03 1万+
目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1）将默认的备份数3设置为2。 步鄹：CDH–>HDFS–>配置–>复制因子–>设置为2 2）执行命令:
删除hdfs上指定的文件
navy专栏
03-23 6662
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...
运行MapReduce+配置回收站
KobeSacre的博客
09-07 111
运行MapReduce 在本地文件系统中新建一个txt cd /home/data vim words 启动HDFS+yarn sbin/start-dfs.sh sbin/start-yarn.sh 将words放上HDFS bin/hdfs dfs -put /home/data/words /words 对words进行MapReduc...
HDFS文件误删除之恢复
mas2005的博客
07-21 5429
启动HDFS的垃圾回收站为了防止误删，一般默认是关闭的，需要我们自己配置文件打开。 修改core-site.xml     <property>                <name>fs.trash.interval</name>                <value>1440</value>               ...
hdfs 删除文件不走回收站
SeaSky_Steven的博客
07-21 2172
hdfs dfs -rm -r -f-skipTrash/path
HDFS在删除文件时，采用了延迟删除和回收站机制
05-24
是的，HDFS在删除文件时采用了延迟删除和回收站机制。 延迟删除是指在文件被删除之后，首先将该文件的元数据标记为删除状态，但是并不立即物理删除该文件的数据块，而是将其保留一段时间。这样可以避免误删文件或者...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值