大数据系列hadoop——MapReduce实例——好友推荐

本文介绍了一个使用Hadoop MapReduce实现的好友推荐系统。通过分析用户的好友列表,找出可能存在认识关系的两人,共同好友数量作为判断依据。Map阶段按顺序组合人名并输出,Reduce阶段进行累加计算,排除直接好友,确定潜在的好友推荐。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

一、简介

二、思路

三、实现


一、简介

             好友推荐功能简单的说是这样一个需求,预测某两个人是否认识,并推荐为好友。

二、思路

             某两个非好友的用户,他们的共同好友越多,那么他们越可能认识。 

             比如,原始数据如下

Tom Cat Hello Hadoop Spring
Cat Hello Spring
Hello Tom Netty Hadoop Cat 
Hadoop Tom Hello Netty Spring 
Spring Tom Cat Hadoop
Netty Hello Hadoop

             每一行表示某个用户的好友列表,每一行的第一个名称为该用户的用户名,后面跟的用户名表示他的好友

             那么我们需要得到如下的数据

Tom Netty 2
Cat Netty 1
Cat Hadoop 3
Hello Spring 3
Spring Netty 1

              这里每一行的两个用户名即为预测的可能认识的两个用户,数字表示他们共有的好友数 

             map:

             将每行的人名进行组合,最后输出key为人名组合,value为标志位。需要注意的是,人名需要按照一定顺序排序,防止同样的人名组合产生两个不同的key

             标志位0,表示一定是直接好友,也就是用户本人和

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值