超级会员免费看
本文介绍了如何在Hadoop3.x中自定义OutputFormat，通过LogMapper处理输入数据，其中Mapper的输出为Text,NullWritable。Reducer部分强调了因Key去重可能导致的数据丢失问题，通过循环处理保证所有相同Key的数据都被保留。最后提到了outputformat的实现将在下一部分讲解。"
50946379,5569613,Cocos2d 缓存池实现与特效管理,"['cocos2d', '内存管理', '游戏开发', '动画效果']
然后我们去根据上一节我们分析的需求去写代码实现,首先我们新建一个package,outputformat
然后我们新建一个mapper,LogMapper,可以看到继承系统的hadoop3.1.3的mapper,然后
输入的key,value分别是行号和一行的内容,所以用LongWritable,Text,
然后输出的内容是Text,NullWritable,其中Text,也就是key是一行的内容,然后value我们没用
就用NullWritable补空就可以了.
然后我们先去看看准备的输入的数据.
然后我们再去看看,map方法,怎么实现,可以看到
context.write(value,NullWritable);
value也就是一
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
