TextInputFormat源码

原创于 2013-12-23 10:50:40 发布 · 1.2k 阅读

CC 4.0 BY-SA版权

文章标签：

14 篇文章

订阅专栏

本文解析了TextInputFormat类，它是FileInputFormat的子类，并详细介绍了createRecordReader()方法及isSplitable()方法的作用。当文件被压缩时，isSplitable()会阻止文件被分割，确保数据正确读取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TextInputFormat是FileInputFormat的子类，其createRecordReader()方法返回的就是LineRecordReader。

public class TextInputFormat extends FileInputFormat<</span>LongWritable, Text> {
@Override
public RecordReader<</span>LongWritable, Text>
createRecordReader(InputSplit split,
TaskAttemptContext context) {
return new LineRecordReader();
}
@Override
protected boolean isSplitable(JobContext context, Path file) {
CompressionCodec codec =
new CompressionCodecFactory(context.getConfiguration()).getCodec(file);
return codec == null;
}
}
我们还看到isSplitable()方法，当文件使用压缩的形式，这个文件就不可分割，否则就读取不到正确的数据了。这从某种程度上将影响分片的计算。有时我们希望一个文件只被一个Mapper处理的时候，我们就可以重写isSplitable()方法，告诉MapReduce框架，我哪些文件可以分割，哪些文件不能分割而只能作为一个分片。