p_x1984的专栏

部署自己写的map/reduce程序的方法【1】：首先就是打包了。需要把的程序（ class文件）、配置目录（conf/）、jar包 放在[color=darkblue]同一级目录[/color] ，下面是 build.xml ...

MapReduce是 Google的一项重要技术，它是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。至少现阶段而言，对许多开发人员来说，并行计算还是一个比较遥远的东西。MapReduce就是一种简化并行计算的编程模型，它让那些没有多少并行计算经验的开发人员也可以开发并行应用。在我看来，这也就是MapReduce的价值所在，通过简化编程模型，降低了开发并行...

1.reduce和map类似，每个task内部可以共享静态类属性，每个task可能会多次调用reduce()函数，但每个key只对应某节点上的某个task的reduce()函数的一次执行2.多个tasks之间不能共享静态类属性，即使在同一台机器上，因为是以进程方式运行3.一个key不可能被两个tasks拆分执行，不管是否在相同的节点上。4. Hadoop Map/Reduc...

接前一篇博客以前的文章中有关于mapreduce的工作原理:http://p-x1984.iteye.com/blog/702486记住一点：Map的输出既是Reduce的输入。即：Map：<k1,v1> ->list<k2,v2>Reduce：<k2,list<v2>> -><k3,v3>1) 在启动ma...

mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程）public static class Map extends Mapper public static class Reduce extends Reducer1 首先说一下工作原理：在map阶...