统计每一个用户（手机号）所耗费的总上行流量、下行流量，总流量以及根据总流量倒序排序(二)

最新推荐文章于 2024-04-05 19:19:37 发布

peng_0129

最新推荐文章于 2024-04-05 19:19:37 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/peng_0129/article/details/80584827

该博客介绍了一个使用Hadoop MapReduce实现的程序，用于统计并按总流量倒序排列每个用户的上行、下行流量。Mapper处理数据，以自定义的FlowBean作为key，实现了WritableComparable接口以确保写出的bean有序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

中心思想是mapper处理数据，写给reduce时。以bean作为key,实现WritableComparable<FlowBean>接口，对传入的 bean进行compareTo比较，写出去的bean就是有序的.

package cn.itcast.bigdata.mr.flowsum;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import cn.itcast.bigdata.mr.flowsum.FlowCount.FlowCountMapper;
import cn.itcast.bigdata.mr.flowsum.FlowCount.FlowCountReducer;

/**
* 13480253104 180 180 360 13502468823 7335 110349 117684 13560436666 1116 954
* 2070
*
* @author
*
*/
public class FlowCountSort {

static class FlowCountSortMapper extends Mapper<LongWritable, Text, FlowBean, Text> {

FlowBean bean = new FlowBean();
Text v = new Text();

@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

// 拿到的是上一个统计程序的输出结果，已经是各手机号的总流量信息
String line = value.toString();

String[] fields = line.split("\t");

String phoneNbr = fields[0];

long upFlow = Long.parseLong(fields[1]);
long dFlow = Long.parseLong(fields[2]);

bean.set(upFlow, dFlow);
v.set(phoneNbr)