Hadoop的文件输入输出Format的几个separator属性参数

dataee

于 2013-06-05 16:12:22 发布

阅读量316

点赞数

分类专栏： MapReduce 文章标签：大数据运维 git

MapReduce 专栏收录该内容

54 篇文章

订阅专栏

本文详细解读了Hadoop版本为0.20.2-cdh3u4时，其OutputFormat和InputFormat中的关键文件分割属性参数，包括NLineInputFormat、KeyValueTextInputFormat以及各自的分隔符设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop版本：

$ hadoop version
Hadoop 0.20.2-cdh3u4
Subversion git://ubuntu-slave01/var/lib/jenkins/workspace/CDH3u4-Full-RC/build/cdh3/hadoop20/0.20.2-cdh3u4/source -r 214dd731e3bdb687cb55988d3f47dd9e248c5690
Compiled by jenkins on Mon May  7 13:01:39 PDT 2012
From source with checksum a60c9795e41a3248b212344fb131c12c

Hadoop的OutputFormat和InputFormat 中有几个重要的文件分割属性参数，参数详情如下：

mapred.line.input.format.linespermap NLineInputFormat与TextInputFormat相同，但每个分片一定有N行。N在此处设置，默认1
key.value.separator.in.input.line    KeyValueTextInputFormat中，key和value之间的分隔符，默认为\t

mapred.textoutputformat.separator OutputFormat中key和value之间的分隔符，默认为\t