MapReduce操作二度人脉二

最新推荐文章于 2022-12-17 22:10:07 发布

原创

最新推荐文章于 2022-12-17 22:10:07 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

本文探讨了MapReduce在处理二度人脉关系时存在的冗余问题，并提供了优化算法的思路。通过分析friendmysql和betweens表的结构，利用MapReduce进行数据处理，避免冗余，提高性能。测试结果显示，该优化方法有效降低了计算复杂度。

小狼上回写的二度人脉有冗余算法，没有很好的体现mapreduce的性能

首先，friendmysql表结构如下：

betweens表结构如下：

代码如下

测试类

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import