狂躁的辣条的博客

MapReduce 原语： “相同”的key为一组，调用一次reduce方法，在方法内迭代这一组数据进行计算 1、创建客户端 其中包括切片清单、读取配置文件、jar包。 然后申请ApplicationMaster 一条命令 就申请一个ApplicationMaster 其中每个DataNode 都含有NodeManager NodeManager管理Container生命周期 2、配置Ma...

MR的执行过程 Map端 1、获取切片（hdfs的块），会以一行一行的读取，然后经过MR的textinputformat 转化为（key，value）形式 2、自定义Map 3、分区，默认是hashpartition，分区出来后 数据形式变为 （K，V，P）然后输出到缓冲区 4、缓冲区接收大小为128M，当到达80%的时候 就会执行溢写线程进行溢写 5、溢写的过程会执行排序（快速排序（比较器默认...