banban_ping的博客

(job的提交)： 客户端向resourcemanager提交job请求，申请资源。 Resourcemanager向客户端返回一个job_id以及共享资源路径hdfs/tmp 客户端将共享资源放在共享资源路径下(job.jar,job.xml,job.xml)。 客户端向resourcemanager返回共享资源放置成功的响应，真正提交应用程序。 Resourcemanager向客户端返回一个...

MapReduce 执行流程: (shuffle在maptask和reducetask之间) 1、 数据的底层存储：文件在hdfs中以Block的方式存放时，假如分为3块，为了计算逻辑切片的大小，用FileInputFormat类获得get split方法进行切片，理论上一个切片==一个块区，最后一个逻辑切片的大小默认为140.8M。一个切片对应一个maptask任务。 2、 Mapta...