HBase major_compact

一、major_compact的操作目的

（1）合并文件

（2）清除删除、过期、多余版本的数据

（3）提高读写数据的效率

 

HBase中实现了两种compaction的方式：minor and major. Minor compactions will usually pick up a couple of the smaller adjacent StoreFiles and rewrite them as one. Minors do not drop deletes or expired cells, only major compactions do this. Sometimes a minor compaction will pick up all the StoreFiles in the Store and in this case it actually promotes itself to being a major compaction.

 这两种compaction方式的区别是：

<1> Minor操作只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期版本清理，不做任何删除数据、多版本数据的清理工作。

<2>Major操作是对Region下的HStore下的所有StoreFile执行合并操作，最终的结果是整理合并出一个文件。

 

一般情况下，HBase集群的major_compact都是关闭的，因此离线的major_compact是必要的。

 

 

二、major_compact操作

操作命令很快就返回，但是后台操作其实一直在运行。

可以通过grafana查看压缩队列的长度，当压缩队列长度超过100的时候，应该延迟操作。

 

三、major_compact的时机
major_compact是很重的后台操作。因此操作之前需要有仔细的观察和分析（通过grafana->HBase监控可以获得）：

1.业务低峰时段运行；

2.优先考虑含有TTL的表；

3.storefile短期内增加比较多；

4.表中storefile平均大小比较小；

 

--------------------- 
作者：mnasd 
来源：优快云 
原文：https://blog.youkuaiyun.com/mnasd/article/details/81303987 
版权声明：本文为博主原创文章，转载请附上博文链接！

转载于:https://my.oschina.net/zjllovecode/blog/3062934