Hadoop之sequencefile与text类型转化

最新推荐文章于 2024-05-21 15:13:58 发布

Running_you

最新推荐文章于 2024-05-21 15:13:58 发布

阅读量4.1k

点赞数

分类专栏： mahout 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/sinat_29508201/article/details/49155127

版权

本文介绍了如何将sequencefile格式转换为text格式，以及将text文件转化为sequencefile格式。主要针对<Text, IntWritable>键值对的sequencefile，提供了转化方法，适用于处理Hadoop相关数据格式需求。" 41746731,4876447,手动部署CephFS集群指南,"['Ceph', '分布式存储', '文件系统', 'Ubuntu', '系统管理']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sequencefile格式转text格式

这里仅针对输入格式为<\Text, IntWritable>的键值对sequencefile文件，可根据实际需要修改，最终输出文本格式。

package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.Iterator;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.SequenceFileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class SequencefileToText {

    public static class ReaderMapper extends Mapper<Text, IntWritable, Text, Text> {

        protected void map(Text key, IntWritab