Hadoop 中最重要的两个模块

最新推荐文章于 2022-10-11 16:49:23 发布

原创最新推荐文章于 2022-10-11 16:49:23 发布 · 2.4k 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍了Hadoop中两个核心模块HDFS与MapReduce的工作原理及架构组成。HDFS包括NameNode、SecondaryNameNode等组件负责文件存储管理；MapReduce通过JobTracker（1.0）和ResourceManager（2.0）等组件实现任务调度与资源分配。

Hadoop 中最重要的两个模块
HDFS 分布式的文件系统
主节点：
NameNode
SecondaryNamenode
ResourceManager

从节点：
DataNode
NodeManager

MapReduce 分布式的并行计算框架
job.submit();
job.waitForCompletion();

就会启动运行一个job

MR的job在分布式的集群中如何运行

主节点
ResourceManager(2.0)
JobTracker： (1.0)
用来管理任务job执行

时资源的分配
用来监控从节点运行

job任务的情况
用来分配job的任务具

体给那个从节点
从节点
applicationMaster

（MrAppMaster hadoop2.0）
用来管理任务job执行

时资源的分配
用来监控从节点运行

job任务的情况
用来分配job的任务具

体给那个从节点
TaskTracker（Map Reduce）

(1.0)
任务的执行者
YarnChild(2.0)

YarnChild(2.0)实时向applicationMaster汇报信息，

applicationMaster实时向ResourceManager汇报信息