使用mapreduce读取hfile

关注

VIP免费原创最新推荐文章于 2026-03-25 00:09:30 发布 1.7k 阅读 AI 写同款· GEO 优化 ›

HFile Mapreduce阶段的优化 Optimize Map/Reduce Job for HBase 1 背景 2 Map阶段的木桶原理 3 MapTask的产生 4 优化 1.背景MapReduce 的优化工作一直比较受重视，官方也提供了很多的接口。不同的实际生产环境可以使用自己开发的API，来获得更好的效率。这次分享一下最近开发的一个HFile的MapReduce的优化开发思想。2.Map阶段的木桶原阅读详情

这里主要说是hbase提供的一个HFileScanner的使用。

以下代码使用HFileScanner写一个inputformat

package hadoop.hbase;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.io.hfile.CacheConfig;
import org.apache.hadoop.hbase.io.hfile.HFile;
import org.apache.hadoop.hbase.io.hfile.HFileScanner;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.JobContext;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.util.StringUtils;

/**
 * This is direct port (hopefully) of t