Hadoop MapReduce 2.x 工作原理

@SmartSi

已于 2022-11-02 23:29:42 修改

阅读量524

点赞数

分类专栏： Hadoop 文章标签： mapreduce hadoop 大数据

于 2022-11-02 23:17:50 首次发布

本文链接：https://blog.youkuaiyun.com/SunnyYoona/article/details/127661361

版权

Hadoop 专栏收录该内容

43 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了YARN如何解决MapReduce 1.x的扩展性问题，通过分离JobTracker的职能，提高集群资源利用率。详细阐述了YARN中的ResourceManager、ApplicationMaster、NodeManager的角色，以及MapReduce作业的提交、初始化、任务分配和执行过程。YARN允许在同一集群上运行多个MapReduce版本，增强了可管理和集群利用率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

1. 概述

对于节点数超出 4000 的大型集群，MapReduce 1 的系统开始面领着扩展性的瓶颈。在 2010 年雅虎的一个团队开始设计下一代 MapReduce。由此，YARN(Yet Another Resource Negotiator)应运而生。

YARN 将 Jobtracker 的职能划分为多个独立的实体，从而改善了经典的 MapReduce 面临的扩展瓶颈问题。Jobtracker 负责作业调度和任务进度监视、追踪任务、重启失败或过慢的任务和进行任务登记，例如维护计数器总数。

YARN 将这两种角色划分为两个独立的守护进程：管理集群上资源使用的资源管理器 ResourceManager 和管理集群上运行任务生命周期的应用管理器 ApplicationMaster。基本思路是：应用服务器与资源管理器协商集群的计算资源：容器(每个容器都有特定的内存上限)，在这些容器上运行特定应用程序的进程。容器由集群节点上运行的节点管理器(NodeManager)监视，以确保应用程序使用的资源不会超过分配给它的资源。

与 Jobtracker 不同，应用的每个实例（这里指一个 MapReduce 作业）有一个专用的 ApplicationMaster&#x