本文介绍了Hadoop的三大核心组件：HDFS分布式文件系统，包括DataNode、NameNode和Secondary NameNode的角色；Yarn的ResourceManager、NodeManager、ApplicationMaster和Container的功能；以及MapReduce中的Map和Reduce阶段在数据处理中的作用。
Hadoop的组成结构体
主要四个部分分别负责不同的功能，实现解耦，功能隔离
一、HDFS:Hadoop Distracted File System 分布式文件系统，
其架构如下：
主要包括以下三个部分：
- DataNode: 数据节点，用来存储数据，负责数据的读写操作和复制操作，相当于我们书本内容
- NameNode： 存储了数据块的 文件名，大小，位置等详细信息，相当于我们的目录
- Secondary NameNode：定时与NameNode进行同步（定期合并文件系统镜像和编辑日志，然后把合并后的传给NameNode，替换其镜像，并清空编辑日志，类似于CheckPoint机制），但NameNode失效后仍需要手工将其设置成主机。
二、Yarn
其架构图如下：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
