hbase compaction策略，处理bulk files

最新推荐文章于 2023-03-05 10:09:19 发布

chen202501

最新推荐文章于 2023-03-05 10:09:19 发布

阅读量384

点赞数

CC 4.0 BY-SA版权

分类专栏：云计算

本文链接：https://blog.youkuaiyun.com/sbqcc/article/details/50661443

云计算专栏收录该内容

1 篇文章

订阅专栏

本文深入探讨了HBase中MapReduce HFileOutputFormat compaction exclude客户端参数的作用，包括其在StoreFile和不同compaction策略中的应用，以及如何通过配置过滤掉bulkload的文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hbase.mapreduce.hfileoutputformat.compaction.exclude 客户端参数
HFileOutputFormat2  final boolean compactionExclude
ImportTsv  HFileOutputFormat2.configureIncrementalLoad

compaction可能使用的地方StoreFile的      b = metadataMap.get(EXCLUDE_FROM_MINOR_COMPACTION_KEY);

RatioBasedCompactionPolicy  selectCompaction（或者其他policy,ExploringCompactionPolicy extends RatioBasedCompactionPolicy  ）
过滤掉bulkload的files，candidateSelection = filterBulk(candidateSelection);