HDFS,Checkpoint的机制

本文介绍了Hadoop分布式文件系统(Namenode)的元数据管理机制,包括edits日志、fsimage镜像文件、md5校验值以及checkpoint过程。edits记录所有修改操作,fsimage存储文件系统状态,md5用于数据完整性检查,而checkpoint则用于定期合并edits和fsimage以保持数据一致性。

一、左上角:这里是namenode下元数据的目录形式

1、一系列的edits_000000000**-edits_000000000**  这是历史的操作日志

2、fsimage_00000000000000000 元数据的持久化镜像文件。

3、fsimage_00000000000000000.md5 元数据的md5值

4、edits_inprogress 这是正在生成的日志文件,达到一定的大小后。就会生成一个历史的日志文件

5、checkpoint的时候会 edits_inprogress立即滚动一次,将它里边的东西写入历史日志文件中

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值