Yarn问答题

最新推荐文章于 2022-12-11 07:00:00 发布

张培根同学

最新推荐文章于 2022-12-11 07:00:00 发布

阅读量278

点赞数

分类专栏：学习记录文章标签：大数据 linux 运维

本文链接：https://blog.youkuaiyun.com/TTDZS/article/details/128246500

版权

学习记录专栏收录该内容

21 篇文章

订阅专栏

本文详细解析了MapReduce中Job的提交过程，介绍了YARN的工作机制，包括客户端提交应用程序、ResourceManager分配资源、NodeManager执行任务等步骤。同时，文章探讨了YARN的三种资源调度策略：FIFO、容量调度和公平调度，分析了它们的特点。最后，给出了配置自定义队列的具体步骤，涉及capacity-scheduler.xml配置文件的修改。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

Yarn问答题

Yarn问答题

一、MR中的一个Job是如何提交的？

提交Job：底层通过submitJobInternal ()方法完成提交

具体步骤：

检测输入输出路径合法性
- 路径非法直接抛异常
- 路径合法开始计算文件切片信息
计算文件切片信息
- 确定最终开启的MT数量
检测是否有分布式缓存文件
- 如果有，设置到Job中
将当前运行的jar包、切片信息、配置信息放入临时产生、用于保存job信息的文件夹下
准备就绪，提交完成

二、描述一下YARN的工作机制。

（1）MR程序提交到客户端所在的节点。
（2）YarnRunner向ResourceManager申请一个Application。
（3）RM将该应用程序的资源路径返回给YarnRunner。
（4）该程序将运行所需资源提交到HDFS上。
（5）程序资源提交完毕后，申请运行mrAppMaster。
（6）RM将用户的请求初始化成一个Task。
（7）其中一个NodeManager领取到Task任务。
（8）该NodeManager创建容器Container，并产生MRAppmaster。
（9）Container从HDFS上拷贝资源到本地。
（10）MRAppmaster向RM 申请运行MapTask资源。
（11）RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
（14）ReduceTask向MapTask获取相应分区的数据。
（15）程序运行完毕后，MR会向RM申请注销自己。