Hadoop的OutputFormat和InputFormat

最新推荐文章于 2025-08-20 19:56:00 发布

最新推荐文章于 2025-08-20 19:56:00 发布 · 154 阅读

文章标签：

#hadoop

MapReduce 专栏收录该内容

54 篇文章

订阅专栏

本文深入探讨了Hadoop中用于数据输入和输出的关键组件，包括InputFormat和OutputFormat的作用，以及它们如何通过getSplits、createRecordReader、getRecordWriter等方法实现数据的高效读取与写入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop用于数据的输入和输出，需要指定OutputFormat和InputFormat，这两个类的目的是为了指明读数据和写数据相关的包括格式等信息。

InputFormat：

 public abstract 
    List<InputSplit> getSplits(JobContext context
                               ) throws IOException, InterruptedException;
  public abstract 
    RecordReader<K,V> createRecordReader(InputSplit split,
                                         TaskAttemptContext context
                                        ) throws IOException, 
                                                 InterruptedException;

createRecordReader：指明具体的读操作

getSplits：获取要读的数据块

我们可以看到InputSplit的类：

public abstract long getLength() throws IOException, InterruptedException;

public abstract 
    String[] getLocations() throws IOException, InterruptedException;

具体的路径和长度

OutputFormat：

  public abstract RecordWriter<K, V> 
    getRecordWriter(TaskAttemptContext context
                    ) throws IOException, InterruptedException;
  public abstract void checkOutputSpecs(JobContext context
                                        ) throws IOException, 
                                                 InterruptedException;
  public abstract 
  OutputCommitter getOutputCommitter(TaskAttemptContext context
                                     ) throws IOException, InterruptedException;

getRecordWriter：具体记录的写的方式

checkOutputSpecs：检测数据输出空间

getOutputCommitter：写flush操作