超级会员免费看
本文介绍了Hadoop 3.x中的TextInputFormat、CombineTextInputFormat等FileInputFormat实现类，包括它们的功能和应用场景。如TextInputFormat用于按行处理数据，CombineTextInputFormat则适用于处理大量小文件，以优化资源利用。
然后我们再看看TextInputFormat这个FileInputFormat的实现类,可以看到,为了满足我们的使用
hadoop 3.x给我们提供了,TextInputFormat这个中按行处理的实现类,KeyValueTextInputFormat,这种key value的实现类,NLineInputFormat这种按照多行读取的实现类,CombineTextInputFormat这种按照多个文件读取的实现类,还有个自定义的InputFormat让我们自己实现,这样就够用了.
然后我们重点说TextInputFormat,和CombineTextInputFormat这两个经常用,其他的,用的没有那么多
我们先看一下这个TextInputFormat这个类,这个是按行处理的,一行行读取去处理的
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
