HBase-7 HBase的flush和compact

HBase内存与磁盘管理：flush与compact详解

最新推荐文章于 2022-10-29 23:01:38 发布

原创

最新推荐文章于 2022-10-29 23:01:38 发布 · 815 阅读

3 ·

CC 4.0 BY-SA版权

本文详细介绍了HBase的flush和compact机制。flush是将内存中的数据写入磁盘，当memstore达到特定大小或时间限制时触发。compact是HFile文件的合并过程，用于减少小文件数量提升查询效率。文章涵盖了flush的触发条件、流程，以及compact的两种类型——小合并和大合并的触发与特点。

Flush和compact概念

flush可以简单的理解为将数据从内存落地到磁盘
- 每次flush的过程中的prepare阶段都会有短时间的加锁阻塞，这个过程很短不影响读写
- 从region级别的flush触发条件开始，一旦触发，就会flush所有memstore，这是不建议由很多列族的一个重要原因
- 在达到阻塞条件前（默认是JVM内存大小*0.4），可以一边向memstore写数据，一边flush
compact可以简单的理解为HFile文件的合并，目的是为了防止小文件过多导致查询效率下降。

Flush触发条件

从容器的大小来看，从小到大可以分为以下3个级别

memstore级别限制

当region中的任意一个 Memstore达到了上限（hbase.hregion.memstore.flush.size，默认128MB），就会触发memstore刷新
可以通过更改配置文件来更改默认大小

<property>
	<name>hbase.hregion.memstore.flush.size</name>
	<value>134217728</value>
</property>

region级别限制

当Region中所有Memstore的大小总和达到了上限（hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size，默认 2* 128M = 256M），会触发memstore刷新
可以通过更改配置文件来更改默认大小

<property>
	<name>hbase.hregion.memstore.flush.size</name>
	<value>134217728</value>
</property>
<property>
	<name>hbase.hregion

最低0.47元/天解锁文章