Hadoop HDFS概念以及查看fsimage和edit日志文件

最新推荐文章于 2025-02-18 13:46:00 发布

大佛拈花

最新推荐文章于 2025-02-18 13:46:00 发布

阅读量1.2k

点赞数

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/GoSaint/article/details/100058609

版权

大数据专栏收录该内容

28 篇文章

订阅专栏

本文详细解析了Hadoop的HDFS文件系统架构，重点介绍了NameNode的角色及其实现机制，包括其如何保存数据块映射和操作记录，SecondaryNameNode的备份原理及其在数据恢复中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop的HDFS文件系统是采用主从结构的。master就是NameNode.NameNode不保存实际的操作数据，而是保存数据到数据块的映射，以及数据的操作记录。可以理解为NameNode就是fsimage+editlog。那么什么是fsimage呢？fs就是目录的意思，image就是图片，可以理解为目录树。就是文件映射到DataNode的记录树。editlog就是文件读写的记录。SecondaryNameNode是NameNode的冷备份，他的工作就是定期的从NameNode获取fsimage和edit进行合并，然后再发送个NameNode.假设NameNode文件结构损坏，可以从SecondaryNameNode进行恢复数据。之所以说是冷备份，就是因为他不会替代NodeNode,而是作为恢复数据的一个依据或者容灾解决方案！

而热备份就是主节点挂了，备用节点开始承担主节点的工作。冷备份仅仅作为恢复数据而存在，并且恢复的是一部分数据，SecondaryNameNode默认一小时合并一次fsimage和edit日志，也就是最坏情况下丢失1个小时数据。那么fsimage在什么地方呢？是在我们hadoop的临时目录下。我的目录在/usr/local/hadoop/tmp/dfs/name/current下面：

上面的全是edit操作日志。可以使用hdfs 命令转换为xml查看：

hdfs oev -i edits_0000000000000000438-0000000000000000439 -o /usr/local/hadoop/edits.xml

fsimage可以使用如下命令：

hdfs oiv -i fsimage_0000000000000000439 -o /usr/local/hadoop/fsimage.txt

-i表示输入文件的位置

-o表示输出文件的位置