本文介绍了一个基于Hadoop MapReduce的好友推荐系统案例。需求是找到两个好友列表的差集并推荐最应该连接的好友。通过MapReduce进行数据处理，Map阶段按好友关系输出，Reduce阶段对关系进行统计。最终通过Java实现MapReduce作业并执行流程，包括数据上传、任务提交等步骤。
一.需求分析
是简单的好友列表的差集吗？
最应该推荐的好友TopN，如何排名？
tom hello hadoop cat
world hadoop hello hive
cat tom hive
mr hive hello
hive cat hadoop world hello mr
hadoop tom hive world
hello tom world hive mr
二.思路：
推荐者与被推荐者一定有一个或多个相同的好友
全局去寻找好友列表中两两关系
去除直接好友
统计两两关系出现次数
API：
map：按好友列表输出两俩关系
reduce：sum两两关系
再设计一个MR
生成详细报表
reduce：
最低0.47元/天 解锁文章
扫一扫
626
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
