HBase-7 HBase的flush和compact

本文详细介绍了HBase的flush和compact机制。flush是将内存中的数据写入磁盘,当memstore达到特定大小或时间限制时触发。compact是HFile文件的合并过程,用于减少小文件数量提升查询效率。文章涵盖了flush的触发条件、流程,以及compact的两种类型——小合并和大合并的触发与特点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Flush和compact概念

  • flush可以简单的理解为将数据从内存落地到磁盘
    • 每次flush的过程中的prepare阶段都会有短时间的加锁阻塞,这个过程很短不影响读写
    • 从region级别的flush触发条件开始,一旦触发,就会flush所有memstore,这是不建议由很多列族的一个重要原因
    • 在达到阻塞条件前(默认是JVM内存大小*0.4),可以一边向memstore写数据,一边flush
  • compact可以简单的理解为HFile文件的合并,目的是为了防止小文件过多导致查询效率下降。
    在这里插入图片描述

Flush触发条件

从容器的大小来看,从小到大可以分为以下3个级别

memstore级别限制

  • 当region中的任意一个 Memstore达到了上限(hbase.hregion.memstore.flush.size,默认128MB),就会触发memstore刷新
  • 可以通过更改配置文件来更改默认大小
<property>
	<name>hbase.hregion.memstore.flush.size</name>
	<value>134217728</value>
</property>

region级别限制

  • 当Region中所有Memstore的大小总和达到了上限(hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size,默认 2* 128M = 256M),会触发memstore刷新
  • 可以通过更改配置文件来更改默认大小
<property>
	<name>hbase.hregion.memstore.flush.size</name>
	<value>134217728</value>
</property>
<property>
	<name>hbase.hregion
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值