YARN对比MapReduce1

最新推荐文章于 2025-09-11 16:40:35 发布

转载最新推荐文章于 2025-09-11 16:40:35 发布 · 114 阅读

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/dalu610/p/5239583.html

文章标签：

本文深入对比了YARN与MapReduce1在可扩展性、高可用性、资源利用率与多租户支持方面的差异。详细阐述了YARN如何通过资源管理器和作业管理器的分离实现高可用性，以及如何改进MapReduce1的任务调度和资源分配机制以提高资源利用率和增强多租户能力。

可扩展性：与jobtracker相反，每一个应用实例，这里可以说是一个MapReduce job有一个转有的应用管理，在应用执行期间运行。这个模型更靠近原始的google论文。
高可用:高可用（High availability)通常是在服务进程失败后，另一个守护进程(daemon)能够复制状态并且接管工作。然而，对于大量快速复杂的状态改变，在jobtracker的内存中，使它非常困难保证HA对于这个服务，通过对jobtracker的责任拆分,一个resource manager 和一个application master在YARN中。使得个可用变了一个分治问题。
利用率：MapReduce1 每一个tasktracker被一个静态分配的固定大小的slots配置。将其分配为map slots 和reduce slots在配置的时候，一个map slot 只能跑map任务，一个reduce slot只能跑reduce任务。在YARN中，一个node manager管理一个资源池，难道在MapReduce 1中，reduce必须得等到map任务跑完才能跑？
多租户(Multitenancy):YARN的最大好处，是它打开了Hadoop的大门，对于其他分布式的应用。MapReduce也只不过是其中的一个应用而已。

转载于:https://www.cnblogs.com/dalu610/p/5239583.html