MR操作hbase的一点心得（含hbase表拷贝样例代码）

最新推荐文章于 2024-10-17 19:41:41 发布

bluekeyv

最新推荐文章于 2024-10-17 19:41:41 发布

阅读量1.4w

点赞数 2

分类专栏： hbase nosql mapreduce 文章标签： hbase string exception class null api

本文链接：https://blog.youkuaiyun.com/kirayuan/article/details/7001278

版权

本文介绍了作者在进行基于HBase的MapReduce程序开发时的经验，主要包括使用TableMapper读取HBase表数据以及通过TableMapReduceUtil.initTableReducerJob方法进行表数据复制的操作，提供了具体的代码示例，详细阐述了在map阶段和reduce阶段的不同输出方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在写基于hbase的MR程序。总结如下：

1、使用TableMapper来读取表

2、写入表的第一种方式是用TableMapReduceUtil.initTableReducerJob的方法，这里既可以在map阶段输出，也能在reduce阶段输出。区别是Reduce的class设置为null或者实际的reduce 以下是一个表copy的例子：

package com.run.test;

import java.io.IOException;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;

public class TableCopy extends Configured implements Tool{
	
	static class CopyMapper extends TableMapper<

最低0.47元/天解锁文章