0-前言
HDFS SecondaryNameNode是干什么的?
- 这是道经典的基础面试题,笔者问过面试者很多次(当然也被面试官问过很多次)。从印象看,大约有一半的被面试者无法正确作答,给出的答案甚至有“不就是NameNode的热备嘛 ”。本文来简单聊聊相关的知识,为节省篇幅,将SecondaryNameNode简称SNN,NameNode简称NN。
1-NN与fsimage、edit log文件
- NN负责管理HDFS中所有的元数据,包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。客户端执行读写操作前,先从NN获得元数据。当NN在运行时,元数据都是保存在内存中,以保证响应时间。
显然,元数据只保留在内存中是非常不可靠的,所以也需要持久化到磁盘。NN内部有两类文件用于持久化元数据:
- fsimage文件,以fsimage_为前缀,是序列化存储的元数据的整体快照;
- edit log文件,以edits_为前缀,是顺序存储的元数据的增量修改(即客户端写入事务)日志。
这两类文件均存储在 ${dfs.namenode.name.dir}/current/ 路径下,查看其中的内容:
[root@bigdata-test-hadoop10 current

最低0.47元/天 解锁文章
1880

被折叠的 条评论
为什么被折叠?



