hadoop 求共同好友

以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的)
A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

求出哪些人两两之间有共同好友,及他俩的共同好友都有谁?

以A举例 A 的 好友有 B C D F E O

              B  ----------> A  C       E  K      AB互相为好友,共同好友是C和 E

第一步:

     mapper

  

package com.wxj.togetherfriend.step1;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/*
 * Created by wxj on 2019/8/19 0019 20:15
 */
public class Step1Mapper extends Mapper<LongWritable, Text,Text,Text> {

     Text t = new Text();
    Text t2 = new Text();
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        //根据分号把每行数据进行切分
        String[] split = value.toString().split(":");
        //把分号后的数据根据逗号进行切分
        String[] sp = split[1].split(",");
        //写出数据
        t2.set(split[0]);
        for (String s : sp) {
            t.set(s);
            context.write(t,t2);
        }



    }
}

     reduce

package com.wxj.togetherfriend.step1;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/*
 * Created by wxj on 2019/8/19 0019 23:03
 */
public class Step1Reducer extends Reducer<Text,Text,Text,Te
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值