hdfs数据误删分析与恢复

HDFS文件恢复指南

最新推荐文章于 2024-04-26 02:51:28 发布

weixin_34419326

最新推荐文章于 2024-04-26 02:51:28 发布

阅读量603

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：https://yq.aliyun.com/articles/460713

本文介绍如何通过修改HDFS配置来启用垃圾箱功能，并详细解释了如何从HDFS的editlog日志中查找并恢复已删除的文件。包括配置设置、editlog分析步骤及实际恢复命令。

一、相关参数：

1、core-site.xml 文件修改以下配置项：

 
          <property>
         
          <name>fs.trash.interval<
          /name
          > 
         
          <value>2880<
          /value
          > 
         
          <description>HDFS垃圾箱设置，可以恢复误删除，配置的值为分钟数，0为禁用<
          /description
          > 
         
          <
          /property
          >

2、hdfs-default.xml 文件注意以下配置项：

 
          <property>          
         
          <name>dfs.ha.log-roll.period<
          /name
          > 
         
          <value>120<
          /value
          > 
         
          <description>EditLog 日志滚动频率，单位为秒，默认是两分钟<
          /description
          > 
         
          <
          /property
          >

二、分析过程

1、找到editlog日志所在目录

查看hdfs-site.xml文件，找到fs.namenode.name.dir配置项的值，如：file:/home/hadoop-2.6.0-cdh5.5.0/dfs/name

在/home/hadoop-2.6.0-cdh5.5.0/dfs/name目录下的current文件里，就是editlog文件，如下图

2、使用命令查看edits_inprogress文件

 
          #hdfs oev -i edits_inprogress_0000000000000000023 -o edits_inprogress_0000000000000000023.xml

其中 -i 是输入文件名，-o是需要把解析的文件输出到该文件中

解析完成后，查看edits_inprogress_0000000000000000023.xml文件即可

3、打开文件分析

找到被删除的文件或文件夹，在edits_inprogress_0000000000000000023.xml文件中搜索相关项，如下所示：

 
          <RECORD>
         
          <OPCODE>OP_RENAME_OLD<
          /OPCODE
          > 
         
          <DATA> 
         
          <TXID>15<
          /TXID
          > 
         
          <LENGTH>0<
          /LENGTH
          > 
         
          <SRC>
          /dat
          <
          /SRC
          > 
         
          <DST>
          /user/root/
          .Trash
          /Current/dat
          <
          /DST
          > 
         
          <TIMESTAMP>1454315297010<
          /TIMESTAMP
          > 
         
          <RPC_CLIENTID>6832d4f9-4fa6-4dbb-89aa-ffaa26109078<
          /RPC_CLIENTID
          > 
         
          <RPC_CALLID>6<
          /RPC_CALLID
          > 
         
          <
          /DATA
          > 
         
          <
          /RECORD
          >

可以看出，HDFS中 /dat 文件是在 1454315297 时间点被移入回收站的

4、恢复文件

执行以下命令：

 
          #fs -mv   /user/root/.Trash/Current/dat    /dat

进行恢复

本文转自 zouqingyun 51CTO博客，原文链接：http://blog.51cto.com/zouqingyun/1750012，如需转载请自行联系原作者