HDFS和MapReduce工作原理

最新推荐文章于 2025-06-10 11:16:50 发布

乌镇风云

最新推荐文章于 2025-06-10 11:16:50 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

文章标签： HDFS MapReduce

本文链接：https://blog.youkuaiyun.com/weixin_43087634/article/details/84592287

本文详细介绍了HDFS的namenode和datanode的工作流程，包括元数据管理和数据存储过程。接着，深入剖析了MapReduce的maptask和reducetask的工作原理，特别是shuffle过程中的排序和分区策略，以及数据的合并与输出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS工作流程：
namenode工作流程：
在这里插入图片描述 1）第一阶段：namenode 启动
（1）第一次启动 namenode 格式化后，创建 fsimage 和 edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）namenode 记录操作日志，更新滚动日志。
（4）namenode 在内存中对数据进行增删改查。

2）第二阶段：Secondary NameNode 工作
（1）Secondary NameNode 询问 namenode 是否需要 checkpoint。直接带回 namenode 是否检查结果。
（2）Secondary NameNode 请求执行 checkpoint。
（3）namenode 滚动正在写的 edits 日志。
（4）将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。
（5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件 fsimage.chkpoint。
（7）拷贝 fsimage.chkpoint 到 namenode。
namenode 将 fsimage.chkpoint 重新命名成 fsimage。

datanode工作流程：
在这里插入图片描述 1）一个数据块在 datanode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2）DataNode 启动后向 namenode 注册，通过后，周期性（1 小时）的向 namenode 上