HADOOP-Checkpoint原理

最新推荐文章于 2025-09-12 20:46:57 发布

weixin_33705053

最新推荐文章于 2025-09-12 20:46:57 发布

阅读量62

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/bobsoft/archive/2012/10/07/2714487.html

本文深入解析了Hadoop中的checkpoint过程，包括辅助Namenode请求主Namenode停止使用edits文件，辅助Namenode从主Namenode获取fsimage和edits文件，将fsimage文件载入内存并执行edits文件中的操作，最后将新的fsimage文件发送回主Namenode进行替换。同时更新fstime文件来记录检查点执行的时间。

以下即是checkpoint过程：

辅助Namenode请求主Namenode停止使用edits文件，暂时将新的写操作记录到一个新文件中，如edits.new。
辅助Namenode节点从主Namenode节点获取fsimage和edits文件（采用HTTP GET）
辅助Namenode将fsimage文件载入到内存，逐一执行edits文件中的操作，创建新的fsimage文件
辅助Namenode将新的fsimage文件发送回主Namenode（使用HTTP POST）
主Namenode节点将从辅助Namenode节点接收的fsimage文件替换旧的fsimage文件，用步骤1产生的edits.new文件替换旧的edits文件（即改名）。同时更新fstime文件来记录检查点执行的时间

转载于:https://www.cnblogs.com/bobsoft/archive/2012/10/07/2714487.html