辰辰爸的博客

AsyncDispatcher是Yarn中事件异步分发器，它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件，其在一个特定的单线程中分派事件，交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能会有多个处理渠道，即多个事件处理器，可以使用一个线程池调度事件。

一、概述二、实现细节      1、CgroupsLCEResourcesHandler配置      2、setupLimits()核心实现      3、clearLimits()核心实现一、概述       Hadoop-2.6.0中对CPU CGroups的实现，主要是通过CgroupsLCEResourcesHandler来实现的，通过它的int*()系列方法初始化一些参数和环境，比如C

继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析（二）》。      4、NMLeveldbStateStoreService实现分析      在      1）、initStorage()      initStorage()方法中，完成了存储相关的初始化，如下： @Override protected void initStorage(Co

一、简介      This document gives an overview of NodeManager (NM) restart, a feature that enables the NodeManager to be restarted without losing the active containers running on the node. At a high level,

ResourceManager是Hadoop资源管理器Yarn的Master，负责资源的统一管理和调度。它与Yarn中另外三个组件协同工作，共同完成应用程序在Yarn上的资源管理与调度。ResourceManager居于整体体系的正中，这也印证了它是Hadoop Yarn中Master节点。它通过不同的RPC协议与NodeManager、ApplicationMaster、Application Client一起协同工作，首先由Application Client向ResourceManager提交应用程序

MapReduce源码分析之Task中关于对应TaskAttempt存储Map方案在性能和业务逻辑方面的考虑，您或许不以为然，可能觉得性能提升不大，但是如果在大规模集群中，当作业数量庞大、任务数目数量庞大时，这种优势就愈发明显，而它带来的好处，于已，于别的作业来说，都会是一种福音！这种设计上的细节，值得我们学习、借鉴与反思！

v2版本的MapReduce作业中，作业JOB_SETUP_COMPLETED事件的发生，会触发作业由SETUP状态转换到RUNNING状态，而作业状态转换中涉及作业信息的处理，是由SetupCompletedTransition来完成的，它主要做了四件事：1、通过设置作业Job的成员变量setupProgress为1，标记作业setup已完成；2、调度作业Job的Map Task；3、调度作业的JobReduce Task；4、如果没有task了，则生成JOB_COMPLETED事件并交由作业的事件处理器

Job状态机维护了MapReduce作业的整个生命周期，即从提交到运行结束的整个过程。Job状态机被封装在JobImpl中，其主要包括14种状态和19种导致状态发生的事件。

作业运行方式Uber or Non-Uber是通过Job的makeUberDecision()方法，传入作业大小inputLength来确定的，本文，我们将研究这一话题，即如何确定作业运行方式Uber or Non-Uber？

我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Yarn上运行的，换句话说，MRAppMaster上MapReduce作业处理总流程是什么？这就是本文要研究的重点。

我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Yarn上运行的，换句话说，MRAppMaster上MapReduce作业处理总流程是什么？这就是本文要研究的重点。

mapreduce.job.reduce.slowstart.completedmaps是MapReduce编程模型中的一个参数，这个参数的含义是，当Map Task完成的比例达到该值后才会为Reduce Task申请资源，默认是0.05。

基于作业大小因素，MRAppMaster提供了三种作业运行方式：本地Local模式、Uber模式、Non-Uber模式。其中，1、本地Local模式：通常用于调试；2、Uber模式：为降低小作业延迟而设计的一种模式，所有任务，不管是Map Task，还是Reduce Task，均在同一个Container中顺序执行，这个Container其实也是MRAppMaster所在Container；3、Non-Uber模式：对于运行时间较长的大作业，先为Map Task申请资源，当Map Task运行完成数目达到一

This document describes the design of the NodeManager restart work under YARN­1336 and its sub­JIRAs.  NM restart is a feature where the NodeManager can be restarted without losing the active containe