超级会员免费看
本文介绍了使用Hadoop MapReduce处理IP日志，实现IP地址去重并统计每个IP的重复次数。从启动Hadoop服务到创建Mapper、Reducer和Driver，逐步解析任务执行过程。最后通过调整Reducer实现按重复次数降序排列，并解决相同次数IP被删除的问题。
一、提出任务
1、原始问题
某人今天访问很多不同的网站，移动或电信日志都会记录在案，有些网站访问次数多，有些网站访问次数少，此人，今天访问了多少个不同的网站？
2、简单化处理
假如有如下一些IP地址，如何去掉重复地址？
192.168.234.21
192.168.234.22
192.168.234.21
192.168.234.21
192.168.2
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
