HBase数据导出到HDFS

最新推荐文章于 2025-06-10 20:20:41 发布

卡奥斯道

最新推荐文章于 2025-06-10 20:20:41 发布

阅读量2.6k

点赞数

分类专栏： hbase 文章标签： Hbase hdfs

hbase 专栏收录该内容

7 篇文章

订阅专栏

本文介绍两种从HBase导出数据到HDFS的方法：一是通过自定义MapReduce程序实现；二是利用HBase提供的Export工具直接导出。自定义MR程序详细展示了配置过程及关键代码，并解释了为何设置reduce任务数量为0。而使用Export工具则更简单快捷。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、目的

把hbase中某张表的数据导出到hdfs上一份。

实现方式这里介绍两种：一种是自己写mr程序来完成，一种是使用hbase提供的类来完成。

二、自定义mr程序将hbase数据导出到hdfs上

2.1首先看看hbase中t1表中的数据：

2.2mr的代码如下：

比较重要的语句是

job.setNumReduceTasks(0);//为什么要设置reduce的数量是0呢？读者可以自己考虑下
TableMapReduceUtil.initTableMapperJob(args[0], new Scan(),HBaseToHdfsMapper.class ,Text.class, Text.class, job);//这行语句指定了mr的输入是hbase的哪张表，scan可以对这个表进行filter操作。

public class HBaseToHdfs
 {

    public static void main(String[]
 args) throws Exception
 {

        Configuration
 conf = HBaseConfiguration.create();

        Job
 job = Job.getInstance(conf, HBaseToHdfs.class.getSimpleName());

        job.setJarByClass(HBaseToHdfs.class);

        job.setMapperClass(HBaseToHdfsMapper.class);

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(Text.class);

        job.setNumReduceTasks(0);

        TableMapReduceUtil.initTableMapperJob(args[0], new Scan(),HBaseToHdfsMapper.class ,Text.class,
 Text.class,
 job);

        //TableMapReduceUtil.addDependencyJars(job);

        job.setOutputFormatClass(TextOutputFormat.class);

        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.waitForCompletion(true);

    }

    public static class HBaseToHdfsMapper extends TableMapper<Text,
 Text> {

        private Text
 outKey = new Text();

        private Text
 outValue = new Text();

        @Override

        protected void map(ImmutableBytesWritable
 key, Result value, Context context) throws IOException,
 InterruptedException {

            //key在这里就是hbase的rowkey

            byte[]
 name = null;

            byte[]
 age = null;

            byte[]
 gender = null;

            byte[]
 birthday = null;

            try {

                name
 = value.getColumnLatestCell("f1".getBytes(), "name".getBytes()).getValue();

            } catch (Exception
 e) {}

            try {

                age
 = value.getColumnLatestCell("f1".getBytes(), "age".getBytes()).getValue();

            } catch (Exception
 e) {}

            try {

                gender
 = value.getColumnLatestCell("f1".getBytes(), "gender".getBytes()).getValue();

            } catch (Exception
 e) {}

            try {

                birthday
 = value.getColumnLatestCell("f1".getBytes(), "birthday".getBytes()).getValue();

            } catch (Exception
 e) {}

            outKey.set(key.get());

            String
 temp = ((name==null ||
 name.length==0)?"NULL":new String(name))
 + "\t" +
 ((age==null ||
 age.length==0)?"NULL":new String(age))
 + "\t" +
 ((gender==null||gender.length==0)?"NULL":new String(gender))
 + "\t" + 
 ((birthday==null||birthday.length==0)?"NULL":new String(birthday));

            System.out.println(temp);

            outValue.set(temp);

            context.write(outKey,
 outValue);

        }

    }

}

2.3打包执行

hadoop jar hbaseToDfs.jar com.lanyun.hadoop2.HBaseToHdfs t1 /t1

2.4查看hdfs上的文件

(my_python_env)[root@hadoop26 ~]# hadoop fs -cat /t1/part*
1    zhangsan    10    male    NULL
2    lisi    NULL    NULL    NULL
3    wangwu    NULL    NULL    NULL
4    zhaoliu    NULL    NULL    1993

至此，导出成功

三、使用hbase自带的工具进行导出

hbase自带的工具是：org.apache.hadoop.hbase.mapreduce.Export
3.1如何使用这个工具呢？查看帮助信息

(my_python_env)[root@hadoop26 ~]# hbase org.apache.hadoop.hbase.mapreduce.Export
ERROR: Wrong number of arguments: 0
Usage: Export [-D <property=value>]* <tablename> <outputdir> [<versions> [<starttime> [<endtime>]] [^[regex pattern] or [Prefix] to filter]]

3.2使用工具来导出

hbase org.apache.hadoop.hbase.mapreduce.Export t1 /t2

至此已经完成导出。