本文通过一个实例介绍如何使用Hadoop MapReduce处理业务需求，统计大量手机流量数据。具体操作中，定义自定义类型来处理数据，并以手机号作为Key，对特定字段的流量进行汇总。示例数据包含11个字段，目标是聚合相同手机号的6789字段流量。最后，将程序打包并在Hadoop环境中运行。
业务需求：跟运营商后台数据，统计手机流量数据
下面是部分数据的截图：
我们把上面每一行数据抽象出来安“\t” 隔开出11个字段：
我们要统计相同手机号的，6789字段的手机流量汇总，实际中其实数据非常庞大，Demo中我们就以上面4条为例，进行试验。
分析：K我们可以确定就是手机号，类型Text，V包括4个字段（6，7，8，9），那我们把V自定义成一个新类型。
我们自定义一个类：
package test;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxE
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
