黑猴子的家：NameNode 镜像文件和编辑日志文件

最新推荐文章于 2022-08-11 01:52:11 发布

黑猴子的家

最新推荐文章于 2022-08-11 01:52:11 发布

阅读量314

点赞数

CC 4.0 BY-SA版权

分类专栏： HDFS

本文链接：https://blog.youkuaiyun.com/qq_28652401/article/details/83509991

HDFS 专栏收录该内容

39 篇文章

订阅专栏

本文详细介绍了HDFS中Namenode格式化后产生的Fsimage、Edits和Seen_txid文件的作用，以及如何使用oiv和oev命令查看这些文件。通过实际案例展示了如何将Fsimage和Edits文件转换为XML格式进行分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、概念

namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current

//目录中产生如下文件
edits_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION

（1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。

（2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。

（3）seen_txid文件保存的是一个数字，就是最后一个edits_的数字

（4）每次Namenode启动的时候都会将fsimage文件读入内存，并从00001开始到seen_txid中记录的数字依次执行每个edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。

2、oiv查看fsimage文件

（1）查看oiv和oev命令

[victor@hadoop102 current]$ hdfs
oiv                  apply the offline fsimage viewer to an fsimage
oev                  apply the offline edits viewer to an edits file

（2）基本语法

hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

（3）案例实操

[victor@hadoop102 current]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current
[victor@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml
[victor@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/fsimage.xml
//将显示的xml文件内容拷贝到eclipse中创建的xml文件中，并格式化。

3、oev查看edits文件

（1）基本语法

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

（2）案例实操

[victor@hadoop102 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml
[victor@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/edits.xml
//将显示的xml文件内容拷贝到eclipse中创建的xml文件中，并格式化。