
MapReduce
文章平均质量分 95
BigData_Hadoop
这个作者很懒,什么都没留下…
展开
-
MapReduce矩阵相乘
数据准备A=⎡⎣⎢147258309⎤⎦⎥(1)(1)A=[123450789]A=\left[\begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 0 \\ 7 & 8 & 9 \end{matrix} \right] \tag{1}B=⎡⎣⎢100111529⎤⎦⎥转载 2018-08-17 23:22:23 · 813 阅读 · 0 评论 -
第一个MapReduce程序
第一个程序一般都是Hello World,所以说MapReduce的第一个程序就是单词计数,主要代码如下:package Temperature;import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.*;import or...原创 2018-05-15 15:07:17 · 239 阅读 · 0 评论 -
MapReduce Top-K问题
Mappers使用默认的mapper数据,一个input split(输入分片)由一个mapper来处理。在每一个map task中,我们找到这个input split的前k个记录。这里我们用TreeMap这个数据结构来保存top K的数据,这样便于更新。下一步,我们来加入新记录到TreeMap中去(这里的TreeMap我感觉就是个大顶堆)。在map中,我们对每一条记录都尝试去更新Tree...转载 2018-09-09 10:00:52 · 562 阅读 · 0 评论