HBase MapReduce MultiTableInput首次测试

HBase 0.94.6版本引入了MultiTableInputFormatBase类,简化了MapReduce处理多个HTable和Scan的情况。尽管0.94.6存在致命错误,但通过在Scan的SCAN_ATTRIBUTES_TABLE_NAME属性中设置TableName,可以指示MapReduce从哪些表获取数据。本文介绍了如何使用这一特性,并提供了相关的MapReduce源码示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在HBase上跑MapReduce有个很麻烦的问题:多HTable+多Scan作为Map的Input对象。以往都需要开发人员去写TableInputFormat类的重载方法。

HBase 0.94.6版本加入了一个新的Class::MultiTableInputFormatBase。(这里我提醒一下HBase 0.94.6有致命BUG,请用0.94.7)

这个方法可以帮助MapReduce开发人员快速实现多HTable+多Scan的Input。

MultiTableInputFormatBase的实现源于HBASE-3996:Support multiple tables and scanners as input to the mapper in map/reduce jobs

MultiTableInputFormatBase的加入的同时,补丁还调整了TableMapReduceUtil,并加入了以下方法:

//多输入方法
void org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.initTableMapperJob(
	List<Scan> scans, 
	Class<? extends TableMapper> mapper, 
	Class<? extends WritableComparable> outputKeyClass, 
	Class<? extends Writable> outputValueClass, Job job
	) throws IOException

//单输入方法
void org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.initTableMapperJob(
	String table, 
	Scan scan, Class<? extends TableMapper> mapper, 
	Class<? extends WritableComparable> outputKeyClass, 
	Class<? extends Writable> outputValueClass, Job job
	) throws IOException
多输入方法相比单输入方法的最大区别在于:去掉了Table Name的传入参数,取而代之的是一个List<Scan>

现在问题来了,新方法只有Scan,没有HTable名称。如何让MapReduce知道数据从哪几张表获取呢?

经过几番周折,我在MultiTableInputFormatBase.java源码的第116行找到了答案

      byte[] tableName = scan.getAttribute(Scan.SCAN_ATTRIBU
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值