超级会员免费看
本文详细介绍了Hadoop3.x中的YARN作业流程，从NameNode、SecondaryNameNode、DataNode到ResourceManager和NodeManager的角色，以及MapReduce如何在YARN上协调分配资源进行数据处理。YARN客户端提交任务给ResourceManager，Application Master负责任务细分，通过Container在DataNode上的MapTask和ReduceTask执行数据读写。整个过程突显了YARN在大数据处理中的资源管理和MapReduce的计算作用。
然后我们看看yarn的全部作业流程,可以看到右边是一个Hadoop的集群,首先
有个namenode,这个我们说他记录着每个文件都在什么位置,这些元数据信息,然后secondarynamenode,这个
也是记录了元数据信息每个文件都存在什么位置了,这个可以说是namenode的一个备份辅助,然后
DataNode是真实的用来存储数据用的节点
然后可以看到resourcemanager这个是整个资源的协调者是整个集群资源的老大,然后
nodemanager负责管理单个服务器的资源,单个节点的资源.
然后我们再看一下,如果有个任务,就是要从100T中找出ss1505_wuma.avi这个时候yarn的客户端,就会
提交一个请求,给resourcemanager,然后res
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
