组合部分标签向量并累加成完整向量

最新推荐文章于 2025-04-18 22:40:44 发布

转载最新推荐文章于 2025-04-18 22:40:44 发布 · 119 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/jhcelue/p/7136553.html

文章标签：

#大数据

本文介绍了一种使用MapReduce实现K-Means聚类算法的方法。Mapper负责输出部分向量，Reducer则将这些向量简单拼接成一个完整的向量。此方法适用于需要多次遍历向量元素的场景。

<strong><span style="font-size:18px;">/***
 * @author YangXin
 * @info K-Means算法会对向量元素进行多次顺序的遍历，上次表示最适合于这样的訪问模式。
 * 利用Mapper输出的部分向量。Reducer通过简单的拼接得到一个完整的向量。

*/ package unitTwelve; import java.io.IOException; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import org.apache.mahout.math.NamedVector; import org.apache.mahout.math.Vector; import org.apache.mahout.math.VectorWritable; public class VectorReducer extends Reducer<Text, VectorWritable, Text, VectorWritable>{ private VectorWritable writer = new VectorWritable(); protected void reduce(Text tag, Iterable<VectorWritable> values, Context context) throws IOException, InterruptedException{ Vector vector = null; for(VectorWritable partialVector : values){ if(vector == null){ vector = partialVector.get().like(); } partialVector.get().addTo(vector); } NamedVector namedVector = new NamedVector(vector, tag.toString()); writer.set(namedVector); context.write(tag, writer); } } </span></strong>

转载于:https://www.cnblogs.com/jhcelue/p/7136553.html