hadoop启动过程(二)secondNameNode

SecondNameNode在Hadoop中扮演着辅助NameNode的角色,定期合并fsimage和edits以优化HDFS启动速度。它通过与NameNode通信,暂停编辑日志,获取最新fsimage和editlog,然后在本地执行合并操作。最终,更新的fsimage会被回传给NameNode,以减少editlog大小。尽管如此,还需要额外的人工备份策略确保数据安全性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

作用:定期将namenode的fsimage和edits合并(数据或者操作不多的时候可以关闭 ),可加速hdfs启动(如果edits很多的话,开启会很难)

 

SecondNameNode:

它会定期的和namenode就行通信来完成整个的备份操作(????更新fsimage操作)。具体的操作如下:

SecondaryNameNode的工作过程:

1. SecondaryNameNode会定期和NameNode通信,请求其停止使用EditLog文件,暂时将新的写操作写到一个新的文件edit.new上来,这个操作是瞬间完成,上层写日志的函数完全感觉不到差别;

2. SecondaryNameNode通过HTTP GET方式从NameNode上获取到FsImage和EditLog文件,并下载到本地的相应目录下;

3. SecondaryNameNode将下载下来的FsImage载入到内存,然后一条一条地执行EditLog文件中的各项更新操作,使得内存中的FsImage保持最新;这个过程就是EditLog和FsImage文件合并;

4. SecondaryNameNode执行完(3)操作之后,会通过post方式将新的FsImage文件发送到NameNode节点上

5. NameNode将从SecondaryNameNode接收到的新的FsImage替换旧的FsImage文件,同时将edit.new替换EditLog文件,通过这个过程EditLog就变小了

 

除了这个自带的备份操作,还需要进行人工的备份,把一份fsimage到多个地方进行备份,万一namenode的节点坏了呢。

 

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值