超级会员免费看
本文详细介绍了如何在Hadoop3.x中通过自定义OutputFormat将包含特定字符串（如atguigu）的网址写入一个文件夹，而其他内容则写入另一个文件夹。通过LogOutputFormat和LogRecordWriter的实现，创建两个不同的输出流，分别处理两种类型的数据，并在Driver类中设置相关配置和输入输出路径。
然后我们继续看看,实现,我们上面一节的需求,
我们把一堆的网址字符串,包含atguigu的放到一个文件夹中去,包含前他内容的放到另一个文件夹中去.
可以看到我们用自定义的outputformat来试下,首先我们创建一个outputformat文件夹,上一节我们把
LogMapper和LogReducer写完了,然后这次我们继续去写
LogOutputFormat去继承FileOutputFormat,可以看到这里,需要一个泛型,这里我们就根据Reducer的去写就可以了
因为reducer完了以后,就是调用outputformat去输出数据对吧.
在我们自定义的LogOutputFormat中需要一个LogRecordWriter对吧,需要这个来写文件,我们重写getRecordWrit
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
