Hadoop中的KeyValueInputFormat

最新推荐文章于 2024-10-21 20:41:26 发布

asd1456732891

最新推荐文章于 2024-10-21 20:41:26 发布

阅读量871

点赞数 1

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/asd1456732891/article/details/96671350

版权

本文介绍了如何在Hadoop中利用KeyValueInputFormat以键值对的形式处理数据，而非传统的偏移量和行内容。通过示例代码展示了具体的实现过程，并给出了程序的运行结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一：背景

有时候，我们可以不以偏移量和行文本内容来作为数据源到MapTask的输入格式，而使用键值对的形式，使用KeyValueInputFormat就可以完成这种需求。

二：技术实现

数据源如下

技术分享

操作代码如下：

public class MyKeyValueTextInputFormat {  
        // 定义输入路径  
        private static final String INPUT_PATH = "hdfs://liaozhongmin:9000/hello";  
        // 定义输出路径  
        private static final String OUT_PATH = "hdfs://liaozhongmin:9000/out";  
  
        public static void main(String[] args) {  
  
            try {  
                // 创建配置信息  
                Configuration conf = new Configuration();  
                //设置行的分隔符，这里是制表符，第一个制表符前面的是Key，第一个制表符后面的内容都是value  
                conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR