Darling博客

如果初始化的时候 只是返回mapTask运行的资源，当mapTask执行完成后或者执行过程中 appMaster向resourceManagerTask询问reduceTask的资源是否已经准备好了 如果准备好就进行reduce任务。11.当整个mapTask和reduceTask都运行完成后，container通知appMaster已经执行完成后，报告给resourceManager已经完成任务。6.appMaster通过心跳包，将任务计算的结果资源需求发送给主节点，进行资源的申请。

读取数据--> 定义map --> 分区 --> 排序 --> 规约 --> 分组 --> 定义reduce --> 输出数据。

当第一个大job提交时，只有这一个job在运行，此时它获得了所有集群资源；当第二个小任务提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。最终效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。在进行资源分配的时候，先给队列中最先上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配。Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力，为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源。

hdfs的读写原理