MapReduce操作二度人脉二

原创

于 2015-12-10 11:08:20 发布 · 1.1k 阅读

CC 4.0 BY-SA版权

本文探讨了MapReduce在处理二度人脉关系时存在的冗余问题，并提供了优化算法的思路。通过分析friendmysql和betweens表的结构，利用MapReduce进行数据处理，避免冗余，提高性能。测试结果显示，该优化方法有效降低了计算复杂度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

小狼上回写的二度人脉有冗余算法，没有很好的体现mapreduce的性能

首先，friendmysql表结构如下：

betweens表结构如下：

代码如下

测试类

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import