hadoop学习笔记---mapreduce的InputFormat

最新推荐文章于 2025-12-04 18:10:19 发布

转载最新推荐文章于 2025-12-04 18:10:19 发布 · 154 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/bianwenlong/p/3437923.html

文章标签：

#大数据 #数据库

本文详细介绍了MapReduce中InputFormat的作用及其使用方法。包括如何通过getSplit进行输入文件分片，以及通过CreatRecordReader创建读取记录的类。此外还讨论了不同类型的InputFormat如TextInputFormat、NLineInputFormat等，并解释了它们的应用场景。

最近看了mapreduce的InputFormat总结一下！！！

看一下InputFormat的用法

Public abstract class InputFormat <k,v>{

　　public abstract List<InputSplit> getSplit(JobContext context)throws IOException,InterruptedException;

　　public abstract RecordReader<k,v> CreatRecordReader(InputSplit split,TaskAttemptContext context)throws IOException,InterruptedException;

}

客户端调用getSplit把输入文件分片，计算分片值，提交给JobTracker;

TaskTracker调用CreatRecordReader为这个分片返回一个读取记录的类；

看一下mapper的run方法

public void run(Context context) throws IOException, InterruptedException {
setup(context);
while (context.nextKeyValue()) {
map(context.getCurrentKey(), context.getCurrentValue(), context);
}
cleanup(context);

}

首先是setup 初始化的一些工作，然后是while循环把split的每一个k,v送到map函数中，context中的方法其实就是调用了RecordReader中相应的方法。如果想对于分片中的记录自己定义，只需要写一个RecordReader就行。

首mapreduce的输入格式很多，最基本的是File，还有数据库等！

看一下这个图

FileInputFormat

FileInputFormat是所有处理文件输入的父类

它有一个方法 addInputPath(Job job,Path path)用于设置输入路径。

这个方法还有其他的重载版本！

mapreduce 最常处理的是文本文件！处理文本用的是TextInputFormat

TextInputFormat是InputFormat默认的处理方式，即key是每一行相对于整个文件的偏移量封装在LongWritable中，value是该行的文本内容封装在Text中。

在TextInputFormat中的value一般没什么用，而在一些文件中，文件本身的内容就是一些key value ，例如 mapreduce的输出文件，这时候我们可以用KeyValueTextInputFormat来把文件分开默认的把Tab作为分隔符，可以用mapreduce.input.keyvaluelinerecordreader.key.value.separator来设置！

NLineInputFormat

如果你不想只把一行作为一条记录，你可以用NLineInputFormat，通过mapduce.input.lineinputformat.linespermap来设置N 这样一条记录中就会用N行！

二进制文件

SequenceFileInputFormat 可以用来处理SequenceFile

数据库

可应用JDBC

推荐使用Sqoop

转载于:https://www.cnblogs.com/bianwenlong/p/3437923.html