生产实习——Day2

生产实习——Day2

了解第一个项目：《手机流量分析项目》

需求：

统计每个手机号上行流量和、下行流量和、总流量和（上
行流量和+下行流量和）,并且：将统计结果按照手机号的前缀
进行区分，并输出到不同的输出文件中去。
13* ==> …
15* ==> …
other ==> …
其中，access.log数据文件

• 第二个字段：手机号
• 倒数第三个字段：上行流量
• 倒数第二个字段：下行流量

思路：

根据手机号进行分组，然后把该手机号对应的上下行流量加
起来

• Mapper: 把手机号、上行流量、下行流量拆开
  把手机号作为key，把Access作为value写出去

• Reducer形如：(“手机号”,<Access,Access>)
  自定义分区类（需要继承Partitioner抽象类），并覆写
  getPartition()方法

开发步骤：

（1）自定义Access类

包括属性：手机号、上行流量、下行流量、总流量

（2）自定义Map任务类（Map Task）对每一行日志内容进行拆分，Map输出数据为：

phone==>Access(手机号,该行手机号的上行流量,该行手机号的
下行流量)

（3）编写Reduce任务类（Reduce Task）

对每个手机号的流量进行汇总，Map输出数据为：
phone==>Access(手机号,上行流量和,下行流量和)
也可以优化为：
phone==>Access(NullWritable对象,上行流量和,下行流量和)

（4）编写分区处理类

继承org.apache.hadoop.mapreduce.Partitioner
类，
"13"开头的手机号交给第一个ReduceTask任务处理，最终
输出到0号分区，
"15"开头的手机号交给第二个ReduceTask任
务处理，最终输出到1号分区，其余手机号交给第三个
ReduceTask任务处理，最终输出到2号分区。