HBase的minor major compact

最新推荐文章于 2024-03-13 15:42:15 发布
最新推荐文章于 2024-03-13 15:42:15 发布
阅读量965 收藏
点赞数
本文详细解析了HBase中的两种Compaction机制：Minor Compact和Major Compact。Minor Compact主要负责合并多个小的StoreFile，而Major Compact除了合并还清理过期的删除标记，提升查询效率。文章探讨了各自的触发条件及参数配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


    *hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction。
     
    *我们都知道compact分为两类，一类叫Minor compact ,一类叫Major compact,两者有什么区别呢？
        *Minor compact只是进行文件merge操作
            *hbase.hstore.compaction.min :默认值为 3，表示至少需要三个满足条件的store file时，minor compaction才会启动
            *hbase.hstore.compaction.max 默认值为10，表示一次minor compaction中最多选取10个store file
            *hbase.hstore.compaction.min.size 表示文件大小小于该值的store file 一定会加入到minor compaction的store file中
            *hbase.hstore.compaction.max.size 表示文件大小大于该值的store file 一定会被minor compaction排除
            *hbase.hstore.compaction.ratio 将store file 按照文件年龄排序（older to younger），minor compaction总是从older store file开始选择，
             如果该文件的size 小于它后面hbase.hstore.compaction.max 个store file size 之和乘以该ratio，则该store file 也将加入到minor compaction 中。
            
            
        *Major compact除了做文件Merge操作，还会将其中的delete项删除。
            *major compaction 的功能是将所有的store file合并成一个，触发major compaction的可能条件有：
                *major_compact 命令
                *majorCompact() API
                *region server自动运行
                    （相关参数：hbase.hregion.majoucompaction 默认为24 小时、hbase.hregion.majorcompaction.jetter 默认值为0.2 防止region server 在同一时间进行major compaction）。
                     hbase.hregion.majorcompaction.jetter参数的作用是：对参数hbase.hregion.majoucompaction 规定的值起到浮动的作用，假如两个参数都为默认值24和0,2，那么major compact最终使用的数值为：19.2~28.8 这个范围。（24*0.8~24*1.2）

 

详细了解Compact过程见下文：

https://blog.youkuaiyun.com/mt0803/article/details/9372227

 

 

 

 

 

Rita楠神
关注
HBase 计划外启动 Major Compaction 的原因
Laurence的技术博客
10-09 651
HBase 的 Compaction 有两个线程池，一个是为 Minor Compaction 准备的， 一个是为 Major Compaction 准备的，hbase.regionserver.thread.compaction.throttle 是决定 Compaction 请求放入哪个线程池的阈值，当待合并文件的总大小小于这个阈值时，就是一个 Minor Compaction，当待合并文件的总大小大于这个阈值时，就是一个 Major Compaction。这个阈值的默认值是：2.5 GB （26843
HBase学习七：Compaction
qwerty1372431588的博客
01-17 750
Compaction是从一个Region的一个Store中选择部分HFile文件进行合并。其目的为了减少 HFile 的个数跟清理掉过期和删除的数据。合并原理是，先从这些待合并的数据文件中依次读出KeyValue，再由小到大排序后写入一个新的文件。之后，这个新生成的文件就会取代之前已合并的所有文件对外提供服务。HBase根据合并规模将Compaction分为两类：Minor Compaction和Major Compaction。
HBase之MinorCompact全程解析
江河万川
01-04 1万+
Compact作用        当MemStore超过阀值的时候，就要flush到HDFS上生成一个HFile。因此随着不断写入，HFile的数量将会越来越多，根据前面所述，HFile数量过多会降低读性能。为了避免对读性能的影响，可以对这些HFile进行compact操作，把多个HFile合并成一个HFile。compact操作需要对HBase的数据进行多次的重新读写，因此这个过程会产生大量的
HBase的MinorCompact的详细解析
从此一心向前，别无它念
08-20 2314
首先说一下Compact的作用： 在Memstore超过一定的阈值的时候，就要新开一个进程将Memstore flush到storefile中，新的Memstore继续写入接受到的数据，当storefile越来越多时，就会降低读的性能，为了提高读的性能，可以对这些storefile进行compact操作，形多个storefile合并成一个大的storefile，那么compact就需要对HBase...
HBase compact 总结 及 调优配置
a1117111a的专栏
08-06 875
1 Compaction介绍          在HBase中，每当memstore的数据flush到磁盘后，就形成一个storefile，当storefile的数量越来越大时，会严重影响HBase的读性能 ，所以必须将过多的storefile文件进行合并操作。Compaction是Buffer-flush-merge的LSM-Tree模型的关键操作，主要起到如下几个作用： （1）合并
hbase 源代码分析 （15）compact 过程
chenfenggang的专栏
07-17 446
这个流程还没有写完，只是作为自己的备忘，可以不用点击进来
HBase Major Compaction 原理精讲与参数设置建议剖析
weixin_33890499的博客
11-30 1157
本套技术博客是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。 网上的Hbase调优资料参差不齐，实在是不忍卒读，有些都是拼凑且版本过时的东西，我这里决定综合所有优质资源进行整合，写一份最全...
Hbase常见面试题
weixin_41367158的博客
03-13 580
也就是说这个时候，所有的读写请求都会访问到同一个regionServer的同一个region中，这个时候就达不到负载均衡的效果了，集群中的其他regionServer就可能会处于比较空闲的状态。：达到TTL（记录保留时间）会被移除，删除和更新的数据仅仅只是做了标记，并没有物理移除，这种合并的触发频率很高。：用于冷数据压缩，与 Snappy 和 LZO 相比，GZIP 的压缩率更高，但是更消耗 CPU，解压/压缩速度更慢。，LZ4 的压缩率和 LZO 的压缩率相差不多，但是LZ4的解压/压缩速度更快。
HBase的compact流程分析
进一步有一步的欢喜
12-20 6483
关于hbase的compact意义及其应用背景已经有很多文章做了描述，这里不再赘述，本文以1.1.2背景的hbase为例，从源码中分析hbase中compact请求发出到接受处理的流程，限于作者水平有限，分析中可能有疏漏或者错误的地方，希望大家指正，一起学习提高。 从regionserver开始分析compact的流程，regionserver初始化的时候会初始化两个与compact相关的线程分
HBase-7 HBase的flush和compact
a3125504x的博客
07-05 795
HBase的flush和compactFlush和compact概念Flush触发条件memstore级别限制region级别限制Region Server级别限制Flush流程Compact合并机制minior compaction(小合并)major compaction(大合并) Flush和compact概念 flush可以简单的理解为将数据从内存落地到磁盘 从region级别的flush触发条件开始，一旦触发，就会flush所有memstore，这是不建议由很多列族的一个重要原因 在达到阻塞条
HBase的Compact参数设置及数据读写流程剖析-OLAP商业环境实战
weixin_33972649的博客
11-09 257
本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。版权声明：本套Spark商业应用实战归作者（秦凯新）所有，禁止转载，欢迎学习。 秦凯新的技术社区-大数据商业实战系列全集目录 1 前言 Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正因...
HBase原理 | HBase Compaction介绍与参数调优
萌兔兔MMQ！！
06-05 537
我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。 1.两种合并 HBase中Compaction分为两种。Minor Compaction称为小合并，主要是选取一些小的、相邻的HFile将他们合并成较大的HFile，并删除HFile中的过期数据。Major Comp
HBase中minor和major合并、region管理
智海观潮的博客
07-16 2373
minor合并和major合并 先前文章提到storefile最终是存储在hdfs上的，那么storefile就具有只读特性，因此HBase的更新其实是不断追加的操作。 当一个store中的storefile达到一定的阈值后，就会进行一次合并，将对同一个key的修改合并到一起，形成一个大的storefile，当storefile的大小达到一定阈值后，又会对storefile进行split，划分为两个storefile。 由于对表的更新是不断追加的，合并时，需要访问store中全部的storefile和mem
hbase 源代码解析（1） Connection
chenfenggang的专栏
07-10 1537
最近打算对源代码学习。作为自己学习备忘。今天开始写hbase。对hbase的接触两年多。如果不对源码分析总感觉确点什么。写的肯定比不上大牛。但是学习过程的分享，我能懂，大学能学点什么就够了。已经写了第一个roaringbitmap的一个系列了。写完之后，感觉自己什么都懂了。 http://blog.youkuaiyun.com/chenfenggang/article/details/74611144 ht
HBase Minor&Major Compaction 解析
数据源的港湾
06-05 4377
众所周知，Apache HBase是一个分布式的基于于读性能优化的列式存储，读性能的优化来自于每个列簇对应一个文件。HBase最初思想来源于Google文件系统。一个列簇对应一个文件的情况并不保证这样，尤其是在HBase频繁写的时候，因此HBase需要一种机制把HFiles合并以减少最大磁盘寻址开销以提高读性能。这个过程称为compaction。Compaction有两方式：major compac
关于Hbase手动实现Major Compact的办法
热门推荐
Fergal1204653510的专栏
12-24 1万+
本人小菜，如有错误或疏漏之处，请各位大牛批评指正，求共同进步。发表此博文，旨在帮助遇到类似问题的朋友一点小的建议或思路。废话少说，开始吧。。。       最近，因项目需要。Hbase数据量很大，项目组提出需要对Hbase中目前所有表（当前有5个）进行major_compact操作。是按照需要，每天凌晨3点自动执行major_compact操作。             具体实现：    
hbase java存储图片_HBase中存取图片、文档数据（HBase MOB）
weixin_36424744的博客
02-12 459
Hbase MOB介绍HBase通常存取小于10K的数据性能很好，如果文件稍大点，比如中等文件的大小，大小在100K<10M之间，由于压缩会带来性能下降，会导致region不可用。为了解决这个问题，HBase引入了对中等大小文件的支持，也就是Hbase MOB(The Moderate Object Storage)特性，或者叫Hbase对象存储。详见HBase-11339。关于HBase ...
Hbase的MinorCompact过程解析及参数调优
南风知我意
06-10 1685
在Memstore超过一定的阈值的时候，就要新开一个进程将Memstore flush到storefile中，新的Memstore继续写入接受到的数据，当storefile越来越多时，就会降低读的性能，为了提高读的性能，可以对这些storefile进行compact操作，形多个storefile合并成一个大的storefile，那么compact就需要对HBase的数据进行多次的重新读写，这将产生大量的IO操作，所以Minor操作只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期
hbase 常见问题
kobexzf的博客
01-19 996
1 HBase什么时候做minor major compact 我们都知道compact分为两类，一类叫Minor compact ,一类叫Major compact, 两者有什么区别呢？ 两者的区别在于：Minor compact只是进行文件merge操作，而Major compact除了做文件Merge操作，还会将其中的delete项删除。 hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store
hbase集群 major compaction
最新发布
03-18
<think>好的，我现在需要帮助用户了解HBase集群中Major Compaction的配置与优化。首先，我得先理解Major Compaction的基本概念和它在HBase中的作用。根据用户提供的引用内容，Major Compaction是将一个Region下的所有StoreFile合并成一个文件，同时清理已删除的行和过期版本。这对性能和数据管理很重要，但也会带来较大的资源消耗，所以需要合理配置。 接下来，用户想了解配置和优化的方法。我需要从引用中提取相关的配置参数和优化建议。引用2提到Major Compaction的触发条件，比如用户强制执行、长时间未执行或存在reference文件。引用5建议将hbase.hregion.majorcompaction设为0来禁用自动触发，改为手动执行。这可能是一个优化点，避免高峰期的资源争用。 然后，引用4提到了计划外Major Compaction的原因和避免方法，比如调整throttle参数和max.size参数。需要解释这些参数的作用，比如throttle控制合并的吞吐量，max.size决定参与合并的文件大小上限。调整这些可以限制计划外的合并操作。 引用3提到了compaction相关的配置参数，如hbase.hstore.compaction.ratio和策略选择。可能需要介绍不同的策略，如RatioBasedCompactionPolicy，以及如何调整比率参数来优化合并频率和文件选择。 另外，用户可能需要知道如何手动触发Major Compaction，以及监控和管理的方法。比如使用HBase Shell命令或API手动执行，配合监控工具观察影响。引用5建议在夜间低负载时执行，这也是优化的一部分。 还需要考虑调优的综合策略，比如分层存储、压缩算法、Region大小调整等，这些可能不在提供的引用中，但根据HBase的知识，可以适当补充，但需要确保准确。比如使用Snappy或LZO压缩减少IO，合理设置Region大小避免过多StoreFile。 最后，整理这些点，分步骤回答，确保结构清晰，每个配置参数和优化方法都解释清楚，并引用对应的引用来源。同时生成相关问题，帮助用户进一步学习，如触发条件、手动触发命令、避免计划外合并的方法等。</think>### HBase集群Major Compaction配置与优化 #### 1. **Major Compaction的核心作用** - **数据清理**：合并Region下所有StoreFile为单个文件，删除标记为删除的行和过期版本数据，释放存储空间[^5]。 - **性能影响**：合并过程会占用大量磁盘I/O和网络带宽，可能导致集群短暂性能下降，需合理规划执行时间。 #### 2. **配置参数详解** - **禁用自动触发** 默认Major Compaction周期由`hbase.hregion.majorcompaction`控制（默认值604800000毫秒，约7天）。建议设置为`0`以禁用自动触发，改为手动控制： ```xml <property> <name>hbase.hregion.majorcompaction</name> <value>0</value> </property> ``` - **限制合并文件范围** - `hbase.hstore.compaction.max.size`：仅合并小于该值的文件（默认`Long.MAX_VALUE`），调小可减少大文件参与合并的概率[^4]。 - `hbase.regionserver.thread.compaction.throttle`：控制合并操作的吞吐量阈值（默认2.5GB），调大可降低合并频率[^4]。 - **合并策略调整** 使用`RatioBasedCompactionPolicy`时，调整合并文件选择比例： ```xml <property> <name>hbase.hstore.compaction.ratio</name> <value>1.2</value> </property> ``` 更高比例会选择更多小文件合并[^3]。 #### 3. **优化实践** - **手动触发时机** 通过HBase Shell在低负载时段手动执行： ```bash hbase> major_compact 'table_name' ``` 或使用Admin API编程触发。 - **监控与资源控制** - 监控HBase Master日志及RegionServer资源使用情况。 - 结合HDFS监控工具（如Ganglia）观察磁盘I/O和带宽波动。 - **分层存储策略** 对冷热数据使用不同的压缩算法（如冷数据用ZStandard，热数据用Snappy），降低合并开销[^3]。 #### 4. **问题排查** - **计划外合并的根源** 检查是否因StoreFile中存在`reference`文件（Region分裂残留）触发了强制合并[^2]。 - **合并阻塞处理** 若合并耗时过长，需检查RegionServer日志，排查是否因大文件或网络延迟导致。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值