Hadoop序列化

最新推荐文章于 2022-04-07 14:04:00 发布

asd623444055

最新推荐文章于 2022-04-07 14:04:00 发布

阅读量387

点赞数

文章标签： mapreduce

本文链接：https://blog.youkuaiyun.com/asd623444055/article/details/123403184

版权

本文详细介绍了在Hadoop中如何实现自定义bean对象的序列化，包括7个关键步骤，如实现Writable接口、反序列化、序列化方法的重写等。并以统计手机号流量为例，阐述了MapReduce程序的编写过程，包括Map阶段的数据处理和Reduce阶段的流量累加。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.自定义bean对象实现序列化接口（Writable）

具体实现bean对象序列化步骤如下7步。

（1）必须实现Writable接口

public class FLowBean implements Writable

（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造

    public FLowBean() {
    }

（3）重写序列化方法

    /**
     * 将对象数据写出到框架指定地方
     *
     * @param dataOutput 数据的容器
     * @throws IOException
     */
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeLong(upFlow);
        dataOutput.writeLong(downFlow);
        dataOutput.writeLong(sumFlow);
    }

（4）重写反序列化方法

    /**
     * 从框架指定地方读取数据填充对象
     *
     * @param dataInput 数据的容器
     * @throws IOException
     */
    public void readFields(DataInput dataInput) throws IOException {
        this.upFlow = dataInput.readLong();
        this.downFlow = dataInput.readLong();
        this.sumFlow = dataInput.readLong();

    }

（5）注意反序列化的顺序和序列化的顺序完全一致

（6）要想把结果显示在文件中，需要重写toString()，可用”\t”分开，方便后续用

    @Override
    public String toString() {
        return upFlow + "\t" + downFlow + "\t" + sumFlow;
    }

（7）如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框中的Shuffle过程要求对key必须能排序。

    /**
     * 比较器，按照总浏览的降序进行排序
     *
     * @param o
     * @return
     */
    @Override
    public int compareTo(FLowBean o) {
        return Long.compare(o.sumFlow,this.sumFlow);
    }