some_321的专栏

1，Configuration配置文件只有在main或者是run方法中设置才有效；     在map或reduce中只能通过context.getConf()方法获取该Job的配置文件，从而读取常量值。注：千万不能在map或reduce中修改configuration，虽然不报错，但这样是改不了值的补充：类的静态常量与Configuration设置常量的功能是一样的，但前者只能保留...

一、《Hadoop权威指南》一书中的示例，测试了一下。定制的Writable类型：TextPair功能：存储一对Text对象。代码如下：package testWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.io.WritableComparable;import java.i...

之前在网上看到了一篇使用MapReduce实现二次排序的博客，自己尝试实现了，并测试成功，代码有所改动。链接如下：http://blog.youkuaiyun.com/zyj8170/article/details/7530728 所谓的二次排序：对Key和Val都进行排序（比如升序），并输出。对Key的自动排序，MapReduce可以替我们解决，但是同时对Val进行排序，则需要其他的做法。...

MapReduce程序默认的输出文件个数：首先，根据setNumReduceTasks(int num)这个方法，其次，根据Map的输出文件个数。一般情况下，同一个key的数据，可能会被分散到不同的输出文件中。倘若我们要对某一个特定的key的所有value值进行遍历，则需要将包含该key的所有文件作为输入文件。当数据比较庞大时，这样的操作会浪费资源。如果同一个Key的所有的value...

MapReduce，组合式，迭代式，链式 前面介绍一些怎样用户类制定自己的类，来达到减少中间数据：http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499498.html1.迭代式mapreduce    一些复杂的任务难以用一次mapreduce处理完成，需要多次mapreduce才能完成任务，例如Pagrank，...

输入类FileInputFormatFileInputFormat是所有使用文件作为数据源的InputFormat实现的基类。1,1基本的输入通过addInputPath(s)和setInputPath(s)四种静态方法设置输入路径。1,2有选择的输入如果需要排除特定文件，可以使用setInputPathFilter()方法设置一个过滤器。注：FileInpu...