从hbase加载数据到hdfs

最新推荐文章于 2024-08-08 16:14:41 发布

原创最新推荐文章于 2024-08-08 16:14:41 发布 · 231 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #java

hbase 同时被 2 个专栏收录

17 篇文章

订阅专栏

hadoop

14 篇文章

订阅专栏

本文介绍了一个从HBase迁移到HDFS的数据处理示例，通过使用Hadoop的TableMapper进行映射处理，实现了HBase中数据的批量导出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    package example2;  
      
    import java.io.IOException;  
      
    import org.apache.hadoop.conf.Configuration;  
    import org.apache.hadoop.fs.Path;  
    import org.apache.hadoop.hbase.HBaseConfiguration;  
    import org.apache.hadoop.hbase.KeyValue;  
    import org.apache.hadoop.hbase.client.Result;  
    import org.apache.hadoop.hbase.client.Scan;  
    import org.apache.hadoop.hbase.io.ImmutableBytesWritable;  
    import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;  
    import org.apache.hadoop.hbase.mapreduce.TableMapper;  
    import org.apache.hadoop.hbase.util.Bytes;  
    import org.apache.hadoop.io.IntWritable;  
    import org.apache.hadoop.io.Text;  
    import org.apache.hadoop.mapreduce.Job;  
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
    import org.apache.hadoop.util.GenericOptionsParser;  
      
    //Administrator  
    public class FromHBaseToHDFSExample {  
          
        public static class HBaseMapper extends TableMapper<IntWritable, Text>{  
      
            @Override  
            protected void map(ImmutableBytesWritable key, Result value,  
                    Context context) throws IOException, InterruptedException {  
                 for(KeyValue kv:value.raw()){  
                     context.write(null, new Text(Bytes.toString(kv.getValue())));  
                 }  
            }  
              
        }  
      
        /** 
         * @param args 
         */  
        public static void main(String[] args)throws Exception {  
            Configuration conf=HBaseConfiguration.create();  
            String []argArray=new GenericOptionsParser(conf, args).getRemainingArgs();  
            if(argArray.length!=1){  
                System.exit(1);  
            }  
            Job job=new Job(conf,"import hbase to hdfs");  
            job.setJarByClass(FromHBaseToHDFSExample.class);  
            TableMapReduceUtil.initTableMapperJob("testtable", new Scan(), HBaseMapper.class, IntWritable.class, Text.class, job);  
            FileOutputFormat.setOutputPath(job, new Path(argArray[0]));  
            job.setNumReduceTasks(0);  
            System.exit(job.waitForCompletion(true) ? 0 : 1);  
              
      
        }  
      
    }