讨论了在MapReduce的reduce函数中遇到的遍历问题，通过将遍历内容保存到List中解决了不能多次遍历的问题，并提供了具体代码示例。
今天在写MapReduce中的reduce函数时，碰到个问题，特此记录一下：
void reduce(key, Iterable<*>values,...)
{
for(* v:values)
{
//做第一遍遍历
}
for(* v:values)
{
//做第二遍遍历
}
}
以上代码本以为可以直接通过，但是问题却出现了，就是在第二遍遍历的时候，遍历为空，这也就是说系统给reduce提供的iterable不能多次遍历。
但通过如下的代码片段却发现：
....
List<*> list = ArrayList<*>();
for(* t : list)
{
//第一遍遍历
}
for(*t : list)
{
//第二遍遍历
}
以上代码完全没有问题，因此这也就对刚才的问题提出了一个解决思路，即 先通过一边的遍历将所有内容保存到一个List中，之后再一遍一遍的边这个List即可解决 问题了。
加入ArrayList里面的应该是 新的引用，比如
list.add(new Text(value))
如下代码
public void reduce(IntWritable key, Iterable<MatrixElements> values,
Context context) throws IOException, InterruptedException {
List<MatrixElements> matrixAs = new LinkedList<MatrixElements>();
List<MatrixElements> matrixBs = new LinkedList<MatrixElements>();
for(MatrixElements e : values){
System.out.println("In Reduce: " + key + "\t" + e.toString());
if(e.type.equals("matrixA")){
matrixAs.add(e);
}else if(e.type.equals("matrixB")){
matrixBs.add(e);
}
}
// test
for(MatrixElements e : matrixAs){
System.out.println("In MatrixA: " + e.toString());
}
for(MatrixElements e : matrixBs){
System.out.println("In MatrixB: " + e.toString());
}
// end test
...
}
输出结果为
In Reduce: 0 matrixB:0-1 88.0
In Reduce: 0 matrixB:0-3 15.0
In Reduce: 0 matrixB:0-3 43.0
In Reduce: 0 matrixB:0-0 12.0
In Reduce: 0 matrixB:0-2 3.0
In Reduce: 0 matrixB:0-3 26.0
In Reduce: 0 matrixA:2-0 52.0
In Reduce: 0 matrixA:1-0 62.0
In MatrixA: matrixA:1-0 62.0
In MatrixA: matrixA:1-0 62.0
In MatrixB: matrixA:1-0 62.0
In MatrixB: matrixA:1-0 62.0
In MatrixB: matrixA:1-0 62.0
In MatrixB: matrixA:1-0 62.0
In MatrixB: matrixA:1-0 62.0
In MatrixB: matrixA:1-0 62.0
可以看到应用e一直指向一个特定的对象，
将matrixAs.add(e); 改为matrixAs.add(new MatrixElements(e));结果正常
扫一扫
341
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
