Hadoop MapReduce原理

最新推荐文章于 2022-05-11 10:06:39 发布

兮小熙

最新推荐文章于 2022-05-11 10:06:39 发布

阅读量394

点赞数 1

CC 4.0 BY-SA版权

分类专栏： MapReduce hadoop 文章标签： hadoop mapreduce

本文链接：https://blog.youkuaiyun.com/Chi_LaughingGor/article/details/70799689

hadoop 同时被 2 个专栏收录

7 篇文章

订阅专栏

MapReduce

2 篇文章

订阅专栏

本文详细介绍了Hadoop的五个核心类：HDFS的Namenode、DataNode、SecondaryNameNode，以及YARN的ResourceManager和NodeManager。阐述了这些组件如何协同工作以实现MapReduce作业的调度和执行，并提供了相关web界面的地址以方便查看各组件的状态。

hadoop核心类(五个)

1.hdfs :数据存储
Namenode：org.apache.hadoop.hdfs.server.namendoe.NameNode
DataNode:org.apache.hadoop.hdfs.server.datanode.DataNode
SecondaryNameNode:org.apache.hadoop.hdfs.server.namendoe.SecondaryNameNode

2.yarn :mapreduce作业调度
ResourceManager:org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
NodeManager:org.apache.hadoop.yarn.server.nodemanager.NodeManager

这里写图片描述

MR job的运行分析

1.client提交mr job
2.rm协调资源分配
3.nm启动并监控container
4.app master协调task
5.app master和task均由rm调度、由nm管理
6.hdfs用于在其他entity间共享job文件

这里写图片描述

附：web查看状态

  http://namenode:50070/    //NN信息
  http://datanode:50075/    //DN信息
  http://2nd NameNode:50090/    //2ndDN信息
  http://yarn-ResourceManager:8088/ //集群信息 (namenode节点ip)
  http://yarn-NodeManager:8042/ //NM信息 (datanode节点ip)