iteye_19353的博客

这个问题比较蛋疼啊，yarn应用不是自己写的(借鉴他人滴)，为了兼容mapreduce v1 所以使用了 org.apache.hadoop.mapreduce.Job 这个类来做客户端连接 如果不考虑兼容问题，可以直接使用 org.apache.hadoop.mapred.JobClient 来说说我碰到的这个问题：在多次执行yarn应用后，发现有成功有失败，而且几率不一定。 这种问题恼...

懒得写了，借阅地址 http://www.linuxidc.com/Linux/2012-01/51614.htm

本文描述了一下归并算法在大文件处理中的使用. 应用场景: 1.单个文件,大小>机器内存,对文件数据进行排序(顺序,小->大) 2.单个文件,大小>机器内存,对文件数据进行去重 简单描述一下大文件排序的思路 1.文件拆分 2.拆分后的小文件分别排序,为之后的归并排序做准备 3.归并排序,这里是核心.首先,因为小文件已经排好序了,那么接下来要做的就是将有序的小文件进...