MR-on-yarn&切片数和map task/reduce task关系&wordcount流程理解&shuffle

1 .MapReduce on yarn 流程

MapReduce
Map 映射 Reduce 聚合

mr on yarn的工作流程分为两步:

1.启动应用程序管理器，申请资源。
2.运行任务，直到任务运行完成。

mr on yarn的工作流程详细分为八步:

1.用户向Yarn提交应用程序（job app application），jar文件、sql；
其中包裹ApplicationMaster程序、启动ApplicationMaster的命令等等
2.资源管理器为该应用程序分配一个容器(Container)，运行job的ApplicationMaster,并与对应的节点管理器(NodeManager)通信，要求它在这个容器中启动MapReduce应用程序管理器。
3.App Master向applications Manager注册，这样就可以在RM WEB界面查询这个job的运行状态
4.App Master采用轮询的方式通过RPC协议向RM申请和领取资源
5.App Master应用程序管理器申请到资源后，便与对应的节点管理器通信，要求启动任务。
6.节点管理器为任务设置好运行环境，包括环境变量、Jar包、二进制程序等，然后将任务启动命令写到另外一个脚本中，并通过该脚本启动任务(task)。
7.各个任务(task)通过RPC协议向App Master应用程序管理器汇报自己的状态和进度，App Master应用程序随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可以随时通过RPC协议向MapReduce应用程序管理器查询应用程序当前的运行状态。
8.应用程序运