南修子学Hbase-Hbase Compaction操作

最新推荐文章于 2025-02-13 11:25:38 发布

原创最新推荐文章于 2025-02-13 11:25:38 发布 · 274 阅读

0 ·

CC 4.0 BY-SA版权

Hbase 专栏收录该内容

19 篇文章

订阅专栏

HBase在MemStore中存储数据并定期刷写到磁盘，每次生成一个StoreFile，可能导致小文件过多。为解决此问题，StoreFileCompaction扮演重要角色，包括Minor和Major两种类型。Minor Compaction适用于少量文件，而Major Compaction是主要手段，通常在文件数达到3个以上时触发。通过Compaction，HBase可以有效管理和整合StoreFiles，提高系统性能。

Hbase Compaction

Hbase从MemStore刷写一次数据到磁盘就会生成一个StoreFile，所以会导致小文件过多的情况发生，因此StoreFile Compation就派上用场了。

Compation分为两种，Minor Compaction(小)和Major Compaction（大，全局的），常用的是Major Compaction

hbase shell命令：

默认情况下， 小于3个走的是Minor Compaction，
大于等于3个走的是Major Compaction

> compact 'tablename'

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

南修子

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

hbase-2.4.17-bin 安装包

08-28

HBase是Apache Hadoop生态系统中的一个分布式、版本化、列族式存储系统，设计用于处理大规模数据集。这个“hbase-2.4.17-bin”...通过理解并掌握上述概念、安装步骤及操作方法，用户可以有效地利用HBase处理海量数据。

hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包

07-14

5. **客户端连接**：HBase提供了命令行接口（HBase Shell）和Java API，可以用来交互式操作HBase或在应用程序中集成。 ### HBase的数据模型和操作 1. **创建表**：使用`create`命令创建表，指定列族。 2. **插入...

参与评论您还未登录，请先登录后发表或查看评论

10. Hbase Compaction命令

最新发布

cl2010abc的专栏

02-13

647

在 HBase 中，频繁进行数据插入、更新和删除操作会生成许多小的 HFile，当 HFile 数量增多时，会影响HBase的读写性能。此外，垃圾数据的存在也会增加存储需求。因此，定期进行 Compact操作，可以有效地提升HBase系统的性能，减少存储空间。：将多个小的HFiles合并成一个较大的HFile，不会删除过期和标记为删除的数据。：将所有 HFiles 合并，会清理掉在HBase中标记为删除的数据，一般比较费时。可能会对RegionServer的CPU和IO造成较大的压力。

Hbase中结果合并的分析

lance家园

05-24

4426

当client向hregion端put()数据时，HRegion会判断当前的memstore的大小是否大于参数hbase.hregion.memstore.flush.size值，如果大于，则执行flushcache()操作，将hregion上的memstore刷新到store files文件里。而在flushcache时，会先判断当前的region是否满足以下条件Store files number > 参数hbase.hstore.blockingStoreFiles 值如果满足，则会将该regi

HBase Compaction

初阳

10-21

2676

文章目录1. Compaction1.1. 基本原理1.2. Compaction 的核心作用1.3. Compaction 基本流程1.3.1. Compaction 触发时机1.3.2. 待合并 HFile 集合选择策略 1. Compaction Compaction是以Store为单位进行的 Compaction使读取延迟更加稳定，但是读取时间产生了很大的毛刺 Compaction 操作的主要源头来自flush操作根据待合并HFile文件的选择策略可以得知，正在进行Compaction的HFi

hbase compaction

longlovefilm的博客

09-02

777

minor compaction 会真正删除 ttl的内容 major compaction ttl 多余version

Hbase---Compaction

cyq6239075的博客

09-13

700

数据写入、读取流程使用了LSM树体系架构，HBase中的用户数据在LSM树体系架构中最终会形成一个一个小的HFile文件。我们知道，HFile小文件如果数量太多会导致读取低效。为了提高读取效率，LSM树体系架构设计了一个非常重要的模块——Compaction。Compaction核心功能是将小文件合并成大文件，提升读取效率。一般基于LSM树体系架构的系统都会设计Compaction，比如LevelDB、RocksDB以及Cassandra等，都可以看到Compaction的身影。我们首先介绍Compac

hbase-2.2.5-bin.tar.gz

11-19

HBase，全称为Apache HBase，是一个开源的分布式列式数据库，属于NoSQL数据库的一种，主要设计用于处理大规模数据集。HBase构建于Hadoop文件系统（HDFS）之上，提供高可靠性、高性能、可伸缩的数据存储。它能够支持...

hbase-2.2.3-bin.tar.gz

04-07

HBase是Apache软件基金会开发的一个开源、分布式、版本化、基于列族的NoSQL数据库，设计用于处理海量数据。在Hadoop生态系统中，HBase提供了实时读写能力，支持PB级别的数据存储。这次我们讨论的是HBase的2.2.3版本...

HBase compact 总结及调优配置

breakout_alex的博客

10-09

2346

Compaction介绍在HBase中，每当memstore的数据flush到磁盘后，就形成一个storefile，当storefile的数量越来越大时，会严重影响HBase的读性能，所以必须将过多的storefile文件进行合并操作。Compaction是Buffer-flush-merge的LSM-Tree模型的关键操作，主要起到如下几个作用：（1）合并文件（2）清除删除、过期、多余版本的数据（3）提高读写数据的效率 HBase中实现了两种compaction的方式：minoran..

HBase中Compaction及读缓存机制研究_王运萍

01-22

将HBase作为研究对象，分析其存储架构，针对HBase存储机制进行深入研究

Compaction的原理与Hbase Compaction实现

日常分享数据分析开发、编程语言内容

03-05

1452

Compaction的原理与Hbase Compaction实现

kudu compaction操作

badboynt的博客

08-17

972

对于需要大量数据进行快速写入/删除的集群，可以设置更大的值。后台工作线程会一直处于工作状态，当插入操作比较频繁时，会更多时间片用于 MemRowSets 刷写磁盘变为 DiskRowSets，当插入操作比较少时候，会花更多时间片用于 Delta Compaction/RowSet Compaction，以提升长久的读取和插入性能。这个操作本质上不是为了减少文件数量，而是为了对内容进行排序重组，减少不同DRS之间key的overlap（重复），进而在检索的时候减少需要参与检索的DRS的数量。...

LevelDb日知录之八：Compaction操作

kai_ding的专栏

06-10

1075

前文有述，对于LevelDb来说，写入记录操作很简单，删除记录仅仅写入一个删除标记就算完事，但是读取记录比较复杂，需要在内存以及各个层级文件中依照新鲜程度依次查找，代价很高。为了加快读取速度，levelDb采取了compaction的方式来对已有的记录进行整理压缩，通过这种方式，来删除掉一些不再有效的KV数据，减小数据规模，减少文件数量等。 levelDb的compaction机

【HBase】Compaction(压实)机制、HRegionServer读写流程、HBase和Hive的整合、Phoenix （三）

大数据爱好者的博客

05-16

1416

Phoenix是Apache提供的基于HBase的JDBC的工具，提供了类SQL语言来操作HBasePhoenix进行数据分析的OLTP的框架，可以预HBase、Flume、Hive、Spark、Flink等框架进行集成特点优点：提供了类SQL语言来操作HBase的数据，降低了学习HBase的成本缺点：提供的语言并不是标准的SQL；底层是将SQL转化为HBase API操作，所以效率不如直接操作HBase。

hbase compact

Ancony_的博客

11-23

1469

首先明白大合并和小合并是指什么。小合并：删除一条记录，就会在该记录上打上标记，被打上标记的记录就成了墓碑记录，该记录使用get和scan查询不到，但还是在HFile中。只有进行大合并的时候才会删除HFile中的墓碑记录。大合并：指定region的一个列族的所有HFile.合并完成后，这个列族的所有HFile文件合并成一个HFile文件，可以在shell中手动触发，但该动作相当耗资源。小合并...

HBASE Compaction 简介

青冬的博客

05-17

889

HBASE Compaction简介序 since: 2021年4月8日 9:43 auth: Hadi 参考： https://blog.youkuaiyun.com/u011598442/article/details/90632702 http://hbasefly.com/2016/07/25/hbase-compaction-2/?oudery=krl7p&xovahc=btigk 为什么要执行Compaction HBase 是基于LSM-Tree 存储模型设计的，...

HBase中的Compaction详解

qq_42456324的博客

12-09

1429

由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的 HFile 中，因此查询时需要遍历所有的 HFile。为了，以及，会进行 StoreFile Compaction。

HBase数据清理工具hbase-cleanup使用指南

HBase清理是一个专门用于维护和优化HBase数据库环境的重要操作，尤其在大规模分布式存储系统中，数据的生命周期管理、过期数据的自动清除以及系统垃圾回收机制显得尤为关键。本文将围绕“hbase-cleanup”这一工具...