MapReduce实战：将统计结果按照总流量倒序排序(全排序)

最新推荐文章于 2024-06-05 00:04:54 发布

原创

最新推荐文章于 2024-06-05 00:04:54 发布 · 1.5k 阅读

9 ·

CC 4.0 BY-SA版权

本文详细介绍了如何使用Hadoop进行大规模网络流量数据的分析过程，包括数据预处理、使用自定义FlowBean类进行流量汇总及排序，以及通过Mapper和Reducer实现高效数据处理。通过具体代码示例，展示了从数据读取到结果输出的完整流程。

1.需求：

根据需求1产生的结果再次对总流量进行排序

2.数据准备：

3.分析

(1)把程序分两步走，第一步正常统计总流量，第二步再把结果进行排序

(2)context.write(总流量，手机号)

(3)FlowBean实现WritableComparable接口重写compareTo方法

@Override
public int compareTo(FlowBean o) {
   
   
	// 倒序排列，从大到小
	return this.sumFlow > o.getSumFlow() ? -1 : 1;
}

4.编写代码：

(1)编写FlowBean

FlowBean.java

package phoneDataComparable;

import lombok.AllArgsConstructor;
import lombok.Getter;
import lombok.NoArgsConstructor;
import lombok.Setter;
import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

// 1 实现writable接口,因为要排序，所以这里使用的是WritableComparable
@Setter
@Getter
@AllArgsConstructor
@NoArgsConstructor
public class FlowBean implements WritableComparable<FlowBean> {
   
   

    private long upFlow;
    private long downFlow;
    private long sumFlow;

    public void set(long upFlow, long downFlow) {
   
   
        this.upFlow = upFlow;
        this.downFlow = downFlow;
        this.sumFlow = upFlow + downFlow;
    }