Reduce（自定义OutputFormat）

asd623444055

于 2022-03-10 16:50:33 发布

阅读量196

点赞数

文章标签： hadoop mapreduce 大数据

本文链接：https://blog.youkuaiyun.com/asd623444055/article/details/123405402

版权

本文通过实例展示了如何在Hadoop MapReduce中自定义OutputFormat来控制输出路径和格式。具体步骤包括创建继承自FileOutputFormat的类，并重写RecordWriter的write()方法。案例中，需求是根据日志数据是否包含'atguigu'将网站分为两类，分别输出到不同的文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.使用场景

为了实现控制最终文件的输出路径和输出格式，可以自定义OutputFormat。

例如：要在一个MaperReduce程序中根据数据的不同输出两类结果到不同的目录。

2.自定义OutputFormat步骤

（1）自定义一个类继承FileOutputFormat。

（2）改写RecordWriter，具体改写输出数据的方法write（）。

自定义OutputFormat案例实操

1．需求

过滤输入的log日志，包含atguigu的网站输出到e:/atguigu.log，不包含atguigu的网站输出到e:/other.log。

（1）输入数据

http://www.baidu.com
http://www.google.com
http://cn.bing.com
http://www.atguigu.com
http://www.sohu.com
http://www.sina.com
http://www.sin2a.com
http://www.sin2desa.com
http://www.sindsafa.com