Hadoop中如何从hdfs中导入数据到hbase中

最新推荐文章于 2021-05-26 16:18:18 发布

zwmonk

最新推荐文章于 2021-05-26 16:18:18 发布

阅读量2.5k

点赞数 1

CC 4.0 BY-SA版权

文章标签： hadoop hbase hdfs

本文链接：https://blog.youkuaiyun.com/zwmonk/article/details/82932018

本文介绍了一种方法，通过Java API在Hadoop中从HDFS导入数据到HBase。主要使用Configuration设置HDFS和Zookeeper的配置，然后通过TableMapReduceUtil和TableReducer进行数据迁移。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.client.Mutation;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

public class ReadHdfsToHbase {
public static void main(String[] args) {
Configuration conf=new Configuration();
conf.set(“fs.defaultFS”, “hdfs://bd1803”);
conf.set(“hbase.zookeeper.quorum”, “centos01:2181,centos02:2181,centos03:2181”);
System.setProperty(“HADOOP_USER_NAME