CDH中 HDFS开启回收站

最新推荐文章于 2025-05-21 09:18:30 发布
最新推荐文章于 2025-05-21 09:18:30 发布
阅读量1.2k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
文章标签： hadoop 大数据 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_18629653/article/details/109428484
博客介绍了Hadoop的垃圾桶功能和检查点设置。fs.trash.interval控制垃圾桶功能，为零则禁用，设置7天可让回收站文件7天后永久删除，可使用特定命令直接删除文件。fs.trash.checkpoint.interval设置创建检查点时间间隔，还提及手动清空检查点及相关参数关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. fs.trash.interval    垃圾桶功能（需要重启HDFS）

        如果为零，垃圾桶功能将被禁用

        设置7天后垃圾回收站中的文件会被系统永久删除

        如果需要直接删除，不放进回收站需要使用下面命令删除

        hadoop fs -rm -r -skipTrash /test

      2. fs.trash.checkpoint.interval    创建检查点时间间隔（需要重启HDFS）

       设置1小时创建一次检查点目录，会在  /user/用户  下每隔1小时创建一个检查点目录，并把垃圾回收站中的文件移动到该目录下

        201101151200为检查点目录

        手动清空检查点    hadoop fs -expunge

        等到7天后将删除所有检查点目录，如果该参数为0，则该值默认设置为fs.trash.interval的值，会在每次创建检查点时删除比fs.trash.interva更早创建的检查点目录

        设置的值应为    <=fs.trash.interval

        

 

会飞的鹅_
关注
【大数据学习】之hdfs垃圾回收站配置
奔走觅衣粮de博客
10-16 2644
我们知道linux是没有垃圾回收站的，而hdfs同样默认是没有的，但是hdfs是可以开启垃圾回收站的。 1、我们可以登录官网，选2.8.5版本， https://hadoop.apache.org/docs/r2.8.5/  拉到页面最下面点击core-default.xml 2、然后在页面按ctrl + F 全局搜索"trash"，找到fs.trash.interval和fs.trash...
Hadoop之HDFS的回收站
郭龙飞的学习博客
02-21 4448
回收站的概念 我们windows系统里面有一个回收站，当想恢复删除的文件的话就可以到这里面进行恢复，HDFS也有回收站。 HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户在Shell命令行删除的文件或者目录，会进入到对应的回收站目录中，在回收站中的数据都有一个生存周期，也就是当回收站中的文件或者目录在一段时间之内没有被用户恢复的话，HDFS就会自动的把这个文件或者目录彻底删除，自动删除之后用户就永远也找不回这个文件或者目录了。 默认情况下hdfs的回收站是没有开启的
HDFS 的Trash回收站功能的配置、使用
热门推荐
辉哥大数据
12-28 1万+
文件的删除和恢复 和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在Name
Hadoop-启用HDFS回收站功能（防止误删数据）
最新发布
m0_53042880的博客
05-21 677
HDFS的回收站（Trash）是一个用于临时存放被删除文件的机制，类似于操作系统中的回收站。它允许用户在误删文件后恢复数据，避免因误操作导致永久丢失。
hdfs回收站的开启
Deng0_huakai
11-12 838
rm -rf /xxxx 属于高危命令 Linux没有回收站 hdfs可以开启回收站。开启方法：通过配置[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]cd/etc/hadoop下的core−site.xml文件，参照官网，fs.trash.checkpoint.interval参数对应的值为0时就是禁用回收站，默认就是禁用。将其设置为1440就代表1天，即保留...
【Hadoop】HDFS回收站与安全模式
ccql's Blog
01-24 717
HDFS在core-site.xml中进行配置后，会为每一个用户在“/user/用户名/.Trash/”地址创建一个回收站目录，每个被用户使用Shell命令行删除的文件或者目录，都会被移动到回收站目录中。但如果一直保存而不清空回收站目录的话，注定会出现问题，因此回收站中的数据都有一个生存周期，也就是当回收站中的文件或者目录在一段时间之内没有被用户恢复的话，HDFS就会自动的把这个文件或者目录彻底删除。注意：默认情况下HDFS的回收站是没有开启的，需要通过修改core-site.xml配置文件来开启。
CDH5之Trash
crazy_stone0002的博客
02-19 185
参考:http://my.oschina.net/cloudcoder/blog/179381 http://www.linuxidc.com/Linux/2012-02/55102.htm 查看...
【图文详细 】HDFS面试题：hdfs的回收站（防止误删）
谦卑t
11-30 626
默认是关闭的，需要手动打开，修改配置 core-site.xml                    添加:          &lt;property&gt;              &lt;name&gt;fs.trash.interval&lt;/name&gt;                        &lt;value&gt;1440&lt;/value&gt;   ...
CDH参数
magicchu的博客
10-21 545
HDFS hdfs block存储位置：dfs.datanode.data.dir fsimage存储位置：dfs.namenode.name.dir edits log存储位置：dfs.namenode.edits.dir DN每块磁盘不能被hdfs使用的空间：dfs.datanode.du.reserved 默认10GB，一般建议单盘空间25% bolck块大小：dfs.blocksize bolck副本数：dfs.replication Yarn 日志汇聚功能：yarn.log-aggregat
大数据之hdfs详解之五：垃圾回收站剖析
Sylvia_D507的博客
10-13 742
首先需要明白一点，现在linux系统好像没有回收站的说法了，所以在删除别人的文件或文件夹之前一定要慎重，毕竟rm命令是高危命令，删除了就没有了，所以对于高危命令，我们要保持敬畏之心. hdfs在部署的时候默认垃圾回收站是禁用的，因此hdfs是可以开启垃圾回收站的。 先看看官网对回收站的解释： 第一个参数：fs.trash.interval=0 表示禁用 Number of minutes aft...
HDFS Trash 整理
FaN()
07-28 2110
CM配置步骤： Configuring HDFS Trash The Hadoop trash feature helps prevent accidental deletion of files and directories. If trash is enabled and a file or directory is deleted using the Hadoop
hadoop fs.trash 详解
bitcarmanlee的博客
05-20 1万+
linux系统里，我觉得最大的不方便之一就是没有回收站的概念。由rm -rf引发的血案，估计每个写代码的同学都遇到过。在hadoop或者说hdfs里面，有trash相关的概念，可以使得数据被误删以后，还可以找回来。1.打开trash相关选项hadoop里的trash选项默认是关闭的。所以如果要生效，需要提前将trash选项打开。修改conf里的core-site.xml即可。我们集群的相关配置如下：
生产调优1 HDFS-核心参数
好好学习天天向上
04-07 1661
文章目录1 HFDS核心参数1.1 NameNode 内存生产配置问题描述hadoop-env.sh中配置1.2 NameNode 心跳并发配置修改hdfs-site.xml配置1.3 开启回收站配置回收站机制开启回收站功能参数说明启动回收站-修改core-site.xml查看回收站恢复回收站数据 1 HFDS核心参数 搭建HFDS集群时必须要参考的参数 1.1 NameNode 内存生产配置 问题描述 1） NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能
HDFD 回收站【Trash】机制
Markble
04-03 1976
HDFS Trashji机制知识总结
Hadoop 教程 - Hadoop HDFS Trash垃圾回收详解
qq_33240556的博客
06-26 1143
Hadoop HDFS的Trash（回收站）机制是为了防止误删重要文件而设计的，它允许用户在文件被永久删除之前有机会恢复。
Hadoop 垃圾回收机制原理及其源码分析
zhm1002的博客
11-09 773
一、两个主要的配置参数： fs.trash.interval 默认值为：0（代表删除的数据不进入垃圾桶，直接删除） 单位：分钟 描述：垃圾数据保存的时间 fs.trash.checkpoint.interval 默认值为：0 单位：分钟 描述：多久进行一次垃圾清理和创建检查点的检测，默认值为0，此时如果设置了 fs.trash.interval，则该值就会和 fs.trash.interval 的值保持一致，另外该值只能小于等于 fs.trash.interval 的值。 二、原理介绍：
hdfs清理笔记
qq_42422698的博客
04-22 1199
1 fs.trash.interval vim core-site.xml <property> <name>fs.trash.interval</name> <value>360</value> </property> <property> <name>fs.trash.checkpoint.interval</name>
hadoop core-site.xml参数fs.trash.interval
那又怎样？的博客
11-13 573
1.官网释义 fs.trash.interval Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. This option may be configured both on the server and the client. If ...
cdh中hdfs配置文件
03-12
### CDH HDFS 配置文件位置及其说明 对于Cloudera Distribution Including Apache Hadoop (CDH)，HDFS配置文件的位置和作用如下： #### 1. 主要配置文件路径 主要的HDFS配置文件通常位于`/etc/hadoop/conf`目录下，此目录由Cloudera Manager管理并分发给集群中的节点。这些配置文件包括但不限于： - `core-site.xml`: 定义了Hadoop核心属性设置，如指定FileSystem类实现[^1]。 - `hdfs-site.xml`: 包含特定于HDFS服务端参数设定，比如副本因子、块大小等重要选项。 #### 2. Cloudera Manager自动生成配置 当通过Cloudera Manager部署或更新组件时，会自动创建额外的过程级配置文件夹，用于存储各个角色实例的具体配置。例如，在执行某些操作期间可能会看到类似这样的路径 `/run/cloudera-scm-agent/process/<process_id>/...` 下存在多个版本的服务配置文件副本[^2]。 #### 3. Parcels包内的默认配置模板 除了上述动态生成的配置外，安装在系统上的Parcel包也携带了一套原始未修改过的配置样例，存放在类似于`/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/` 的地方。这里保存着未经任何改动的基础配置文档作为参考[^4]。 ```bash # 查看具体某个配置文件的内容可以使用cat命令 cat /etc/hadoop/conf/core-site.xml ``` 为了确保最佳实践，建议始终依赖Cloudera Manager来进行集中式的配置管理和变更控制，而不是手动编辑单个服务器上的文件。这有助于保持整个集群的一致性和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值