HBase之LSM树(Log-Structured Merge-Tree)存储引擎

LSM 树(Log-Structured Merge-Tree) 原理 文章目录1. LSM 树介绍1.1 背景1.2 核心思想2. 基本原理2.1 写数据2.2 读数据3. LevelDB 中的 LSM 1. LSM 树介绍 1.1 背景 传统关系型数据库通常在读性能上有较高的要求,通过以下方式组织数据能够在复杂的读场景下(比如按关键字或者范围)高效地进行查找 二分查找: 将数据按一定规则顺序保存,使用二分查找可完成特定 key 的快速查找 哈希:使用哈希将数据分割存储在特定位置 B+树:使用 B+树 或者 ISAM 索引顺序存取等方法组织数据,可以减少外部文件的读取 外 阅读详情

HBase之LSM树(Log-Structured Merge-Tree)存储引擎详细介绍

目录

  1. LSM树概述
  2. LSM树的核心设计思想
  3. HBase中LSM树的架构设计
  4. 写入流程
  5. 读取流程
  6. 合并(Compaction)机制
  7. LSM树的优缺点
  8. HBase LSM树的优化策略

1. LSM树概述

1.1 什么是LSM树

LSM树(Log-Structured Merge-Tree,日志结构合并树)是一种面向磁盘存储的数据结构,由Patrick O’Neil等人于1996年提出。它通过将随机写转换为顺序写来优化写入性能,特别适合写密集型应用场景。

1.2 HBase为什么选择LSM树

HBase作为构建在HDFS之上的分布式列式存储系统,选择LSM树作为其底层存储引擎主要基于以下原因:

特性B+树LSM树HBase需求
写入性能随机写,性能较低顺序写,性能高高吞吐写入
读取性能点查询快需要合并多个SSTable可接受
空间利用率较高可能产生碎片可通过Compaction解决
范围查询友好友好支持范围扫描
压缩效率一般较好节省存储空间

1.3 LSM树的历史演进

早期阶段 1996 Patrick O'Neil提出LSM树概念 用于优化写密集型应用 数据库应用 2004 Google Bigtable采用LSM架构 2006 Cassandra发布 使用LSM作为存储引擎 2007 HBase项目启动 基于Bigtable设计 现代发展 2010 RocksDB发布 高性能LSM实现 2015 HBase 1.0发布 优化Compaction策略 2020+ 云原生数据库广泛采用LSM 如TiKV、CockroachDB LSM树发展历史

2. LSM树的核心设计思想

2.1 核心原理

LSM树的核心思想是将随机写转换为顺序写,通过以下机制实现:

  1. 内存缓冲:所有写入操作首先进入内存中的可变数据结构
  2. 批量刷盘:当内存达到阈值时,批量写入磁盘形成不可变文件
  3. 分层存储:磁盘上的文件按大小分层组织
  4. 后台合并:后台进程定期合并文件,减少文件数量

2.2 LSM树的基本架构

LSM树基本架构

磁盘存储

刷盘

合并

合并

合并

L0层
最新数据

写入请求

WAL
Write-Ahead Log

MemTable
内存可变表

L1层

L2层

Ln层
最老数据

2.3 LSM树的关键组件

2.3.1 MemTable(内存表)

MemTable是内存中的可变数据结构,通常使用跳表(Skip List)实现,具有以下特性:

  • 高效插入:O(log n)的时间复杂度
  • 有序存储:按键排序,便于范围查询
  • 内存管理:当达到阈值时触发刷盘
2.3.2 WAL(Write-Ahead Log)

WAL是预写日志,用于数据持久化和故障恢复:

MemTable WAL Client MemTable WAL Client 1. 追加写入日志 2. fsync确保持久化 3. 返回成功 4. 更新内存表
2.3.3 SSTable(Sorted String Table)

SSTable是磁盘上的不可变有序文件,具有以下特点:

  • 不可变性:写入后不再修改
  • 有序性:按键排序存储
  • 索引结构:包含数据块和索引块

3. HBase中LSM树的架构设计

3.1 HBase存储架构概览

HBase RegionServer

WAL存储

Region 1

Store 1 (CF)

HDFS存储

刷盘

合并

Store 2 (CF)

HDFS存储2

HFile-4

HFile-5

MemStore

BlockCache

MemStore
内存

BlockCache
读缓存

HFile-1

HFile-2

HFile-3

HLog
WAL文件

写入请求

3.2 HRegion与Store的关系

HBase Table

表 Table

Region 1
RowKey: a-m

Region 2
RowKey: n-z

Store: CF1

Store: CF2

Store: CF3

MemStore

HFiles on HDFS

MemStore

HFiles on HDFS

3.3 HFile文件结构

HFile是HBase中SSTable的具体实现,其内部结构如下:

HFile v3 结构

HFile File

File Header
版本信息、压缩类型等

Data Block 1
实际键值对数据

Data Block 2

Data Block N

Meta Block
布隆过滤器等元数据

File Info
文件统计信息

Bloom Filter
快速判断key是否存在

Data Index
数据块索引

Meta Index
元数据块索引

File Trailer
文件尾部指针

3.4 MemStore内部结构

MemStore内部结构

MemStore

ConcurrentSkipListMap
有序数据结构

Cell 1
RowKey: key1
Timestamp: ts1

Cell 2
RowKey: key2
Timestamp: ts2

Cell N
RowKey: keyN
Timestamp: tsN

Snapshot
用于刷盘的快照

MVCC
多版本并发控制


4. 写入流程

4.1 完整写入流程图

HDFS MemStore WAL RegionServer Client HDFS MemStore WAL RegionServer Client 后台异步流程 alt [达到阈值] 1. Put/Delete操作 2. 检查Region状态 3. 追加写入WAL 4. sync到HDFS 5. 写入成功 6. 更新MemStore 7. 返回成功 8. 检查大小阈值 9. 创建Snapshot 10. 刷盘为HFile 11. 清空Snapshot

4.2 写入路径详解

Region在线

Region迁移

WAL可用

WAL不可用

失败

成功

未达阈值

达到阈值

客户端写入请求

检查Region

检查WAL

返回错误
NotServingRegionException

写入WAL

返回错误

Sync WAL到HDFS

Sync成功?

返回错误
写入失败

写入MemStore

MemStore
大小检查

返回成功给客户端

创建Snapshot

创建新MemStore

异步刷盘

写入HFile到HDFS

清除Snapshot

4.3 写入性能优化

HBase通过以下机制优化写入性能:

  1. 批量写入:支持MultiPut操作,减少RPC开销
  2. 异步刷盘:MemStore刷盘是异步的,不阻塞写入
  3. WAL分组:HBase 2.0+支持WAL按Region分组,提高并发
  4. 延迟刷盘:可配置延迟刷盘时间,合并多次写入

写入优化机制

批量写入
MultiPut

异步刷盘
不阻塞写入

WAL分组
提高并发

延迟刷盘
合并写入

提升写入性能


5. 读取流程

5.1 完整读取流程图

HDFS MemStore BlockCache RegionServer Client HDFS MemStore BlockCache RegionServer Client alt [缓存命中] [缓存未命中] 1. Get/Scan操作 2. 查询BlockCache 3. 缓存命中? 4. 返回数据 5. 查询MemStore 6. MemStore数据 7. 读取HFile 8. HFile数据 9. 更新缓存 10. 返回合并后的数据

5.2 读取路径详解

命中

未命中

可能存在

肯定不存在

客户端读取请求

查询BlockCache

返回缓存数据

查询MemStore

获取MemStore数据

查询Snapshot

获取Snapshot数据

读取HFile

布隆过滤器

读取数据块

跳过此文件

合并数据源

更新BlockCache

返回数据

结束

5.3 多版本读取

HBase支持多版本数据读取,通过时间戳实现:

多版本数据组织

RowKey: user001

ColumnFamily: info

ColumnFamily: data

Qualifier: name

Qualifier: age

Value: 张三
TS: 1000

Value: 李四
TS: 2000

Value: 王五
TS: 3000

Value: 25
TS: 1000

Value: 26
TS: 2000

5.4 读取性能优化

读取优化机制

BlockCache
读缓存

布隆过滤器
快速过滤

前缀Trie
加速RowKey查找

列编码
减少数据量

提升读取性能


6. 合并(Compaction)机制

6.1 Compaction概述

Compaction是LSM树的核心机制,用于:

  • 合并多个SSTable,减少文件数量
  • 清理已删除/过期的数据
  • 提高读取性能

6.2 Compaction类型

Compaction分类

Compaction

Minor Compaction
小合并

Major Compaction
大合并

合并相邻层级的
少量HFile

合并所有HFile
清理删除标记

6.3 Minor Compaction流程

HFile HDFS Store CompactionChecker HFile HDFS Store CompactionChecker 1. 检查是否需要Compaction 2. 选择待合并的HFile 3. 读取HFile数据 4. 返回数据 5. 合并数据 6. 应用TTL和删除标记 7. 写入新HFile 8. 写入完成 9. 更新元数据 10. 删除旧HFile 11. Compaction完成

6.4 Major Compaction流程

是

否

是

到达时间

未到时间

触发Major Compaction

手动触发?

手动Major Compaction

自动触发?

时间检查

自动Major Compaction

跳过

选择所有HFile

读取所有HFile

全量合并

清理过期数据

清理删除标记

写入新HFile

删除旧HFile

完成

结束

6.5 Compaction策略

HBase提供多种Compaction策略:

Compaction策略

Compaction策略

RatioBasedCompaction
基于比例的策略

FIFOCompaction
先进先出策略

TieredCompaction
分层策略

StripeCompaction
条带策略

DateTieredCompaction
时间分层策略

6.5.1 RatioBasedCompaction策略

这是HBase默认的Compaction策略,基于文件大小比例选择待合并的文件:

RatioBasedCompaction选择逻辑

2倍比例

2倍比例

2倍比例

2倍比例

合并

合并

L0: 10MB

L1: 20MB

L2: 40MB

L3: 80MB

L4: 160MB

6.5.2 TieredCompaction策略

LevelDB和RocksDB风格的分层Compaction:

TieredCompaction分层结构

合并

合并

合并

L0层
多个重叠文件

L1层
不重叠文件

L2层
不重叠文件

L3层
不重叠文件

File1

File2

File3

File4

File5

6.6 Compaction对性能的影响

Compaction性能影响

正面影响

减少文件数量
提高读取性能

清理删除数据
释放存储空间

数据局部性优化
减少IO

负面影响

消耗IO资源
影响读写性能

消耗CPU资源
数据解压/压缩

产生临时文件
占用额外空间


7. LSM树的优缺点

7.1 LSM树的优点

LSM树优点

写入性能

顺序写

高吞吐量

适合写密集场景

存储效率

高压缩率

减少碎片

节省空间

扩展性

易于水平扩展

适合分布式存储

支持大数据量

简单性

结构简单

易于实现

维护成本低

7.2 LSM树的缺点

LSM树缺点

读取性能

需要合并多个文件

点查询性能较差

空间放大

写放大

多次写入同一数据

Compaction开销大

IO资源消耗高

延迟问题

Compaction阻塞

读取延迟抖动

空间回收延迟

复杂性

Compaction策略复杂

参数调优困难

故障恢复复杂

7.3 LSM树与B+树对比

LSM树 vs B+树

LSM树

写入性能: ★★★★★

B+树

写入性能: ★★★☆☆

读取性能: ★★★☆☆

读取性能: ★★★★★

空间效率: ★★★★☆

空间效率: ★★★☆☆

范围查询: ★★★★☆

范围查询: ★★★★★

缓存友好: ★★★☆☆

缓存友好: ★★★★★


8. HBase LSM树的优化策略

8.1 写入优化

HBase写入优化策略

WAL优化

异步WAL

WAL分组

WAL压缩

MemStore优化

调整MemStore大小

优化刷盘策略

并发MemStore

Compaction优化

Off-peak Compaction

Compaction限流

并行Compaction

8.2 读取优化

HBase读取优化策略

缓存优化

BlockCache调优

BucketCache

组合缓存

索引优化

布隆过滤器

RowKey设计

列族优化

扫描优化

Scan Caching

Scan Batching

反向扫描

8.3 存储优化

HBase存储优化策略

压缩

GZIP压缩

LZO压缩

Snappy压缩

ZSTD压缩

编码

Delta编码

前缀编码

快速差分编码

布隆过滤器

RowKey布隆过滤器

RowCol布隆过滤器

8.4 参数调优建议

参数默认值推荐值说明
hbase.regionserver.global.memstore.size0.40.3-0.4MemStore总内存占比
hbase.hregion.memstore.flush.size128MB256MB单个MemStore刷盘阈值
hbase.hstore.blockingStoreFiles1015-20阻塞写入的文件数
hbase.hstore.compaction.max1015-20单次Compaction最大文件数
hbase.regionserver.thread.compaction.large12-4大Compaction线程数
hbase.regionserver.thread.compaction.small14-8小Compaction线程数

8.5 监控指标

HBase LSM树监控指标

写入指标

写入QPS

写入延迟

WAL大小

读取指标

读取QPS

读取延迟

缓存命中率

Compaction指标

Compaction队列长度

Compaction耗时

Compaction数据量

存储指标

StoreFile数量

StoreFile大小

Region大小


总结

LSM树作为HBase的核心存储引擎,通过将随机写转换为顺序写,实现了极高的写入性能。虽然读取性能相对B+树有所牺牲,但通过BlockCache、布隆过滤器等优化手段,仍然能够满足大多数场景的需求。

理解LSM树的原理和HBase的实现细节,对于HBase的性能调优和故障排查至关重要。在实际应用中,需要根据业务特点选择合适的Compaction策略、压缩算法和缓存配置,以获得最佳的性能表现。

关键要点回顾

  1. LSM树核心思想:将随机写转换为顺序写,通过内存缓冲和后台合并实现
  2. HBase实现:MemStore + WAL + HFile三层结构
  3. 写入流程:WAL -> MemStore -> 异步刷盘为HFile
  4. 读取流程:BlockCache -> MemStore -> HFile,多路合并
  5. Compaction机制:Minor和Major Compaction,清理数据,优化读取
  6. 优化策略:缓存、压缩、布隆过滤器、参数调优
HBase学习笔记(二)——LSM树(Log-Structured Merge-Tree)是什么? LSM 树,即日志结构合并树(Log-Structured Merge-Tree)是Google BigTable 和 HBase 的基本存储算法,它是传统关系型数据库的 B+ 数的改进。算法的关注重心是 “如何在频繁的数据改动下保持系统读取速度的稳定性”,算法的核心在于尽量保证数据是顺序存储到磁盘上的,并且会有频繁地对数据进行整理,保证其顺序性。而顺序性就可以最大程度保证数据的读取性能稳定。 LSM树核心就是放弃部分读能力,换取写入的最大化能力。LSM 树会将所有的数据插入、修改、删除等操作保存在内 阅读详情

相关推荐

HBase学习六:LSM树算法

随着写入的增加,内存数据会不断地刷新到磁盘上。最终磁盘上的数据文件会越来越多。如果数据没有任何的读取操作,磁盘上产生很多的数据文件对写入并无影响,而且这时写入速度是最快的,因为所有IO都是顺序IO。但是,一旦用户有读取请求,则需要将大量的磁盘文件进行多路归并,之后才能读取到所需的数据。因为需要将那些Key相同的数据全局综合起来,最终选择出合适的版本返回给用户,所以磁盘文件数量越多,在读取的时候随机读取的次数也会越多,从而影响读取操作的性能。

qwerty1372431588的博客 635

【大数据】LSM树,专为海量数据读写而生的数据结构

一文详聊LSM树这种专为海量数据读写而生的数据结构

BugMan的博客 6358

HBase总结(七)LSM理解

讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎  是哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序扫描,对应的存储系统为key-value存储系统。对于key-value的插入以及查询,哈希表的复杂度都是O(1),明显比树的操作O(n)快,如果不需要有序的遍历数据,哈希表就是your Mr.RightB树存储引擎是B树(关于B树的由来

Java海洋 1万+

数据结构-LSM树

LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在内存中,等到积累到足够多之后,再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的,可以通过合并排序的方式快速合并到一起)。4)LSM树原理把一棵大树拆分成N棵小树,它首先写入内存中,随着小树越来越大,内存中的小树会flush到磁盘中,磁盘中的树定期可以做merge操作,合并成一棵大树,以优化读性能。

互联网知识分享 2626

大模型面试题52:LLM如果在训练过程中loss值出现spike应该怎么办?

小白急救:停更→回滚→降LR→裁剪梯度,先保住训练不崩溃;进阶排查:查数据→查优化器→查硬件,找到spike的根因并解决;深层预防:预处理保守配置+训练中实时监控,从源头规避spike。先止损,再溯源,最后预防。

叫好与叫座虽然不是对立面,但想在同一个作品中达到双重效果很难。 1175

rk3399 linux 5.10 usb 2.0设备上电概率性注册失败

先排除硬件上的问题,然后就烧录kernel 4.1的的镜像,多次测试也没有发现这个问题,所以排除了硬件上的问题,然后。查下usb hub和usb 4G的复位脚,写驱动都给它们配上了,但是还是存在这个问题。最后通过对比rk3399.dtsi发现少了个power-domains = ;多次开关机,发现usb hub和4G都通信失败了,这就有点奇怪了,按理说usb驱动是没啥问题的。加上后,重新编译烧录,重新测试没有发现这个问题了!先查看usb log。

qq_32017483的博客 2675

数据结构之LSM树

LSM树(Log Structured Merge Tree) 是一种

LeoHan 1258

国产PLC实战:用汇川Easy320搞定TCP通信,手把手教你网口转串口控制设备

本文详细解析了如何使用汇川Easy320 PLC实现TCP通信与串口控制,解决工业自动化中设备间通信协议差异问题。通过实战案例和代码示例,展示了Easy320在协议转换、数据解析和串口转发中的高效应用,帮助工程师快速掌握网口转串口控制技术。

weixin_31774841的博客 504

LSM树(Log-Structured Merge Tree)存储引擎介绍

更多内容关注微信公众号:fullstack88801、代表数据库:nessDB、leveldb、hbase等核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个...

qianshanding0708的博客 961

IWR6843ISK+DCA1000EVM 本人遇到的所有报错和解决方案

本文详解了初次使用DCA1000EVM和mmave studio遇到的一系列的问题以及解决方法

2301_77883976的博客 3321

【Arduino 动手做】六舵机自平衡 Rotary Stewart 平台

《Arduino六舵机自平衡Rotary Stewart平台项目》 该项目展示了一个基于Arduino的六自由度Rotary Stewart平台,通过六个舵机实现动态平衡控制。设计采用激光切割框架和TAMIYA 70171套件,提供详细组装指南和开源固件(GitHub可获取)。开发者丹·罗耶分享了3D打印文件、视频演示及运动学优化需求,强调该平台可扩展应用于游戏控制(如Kerbal Space Program)或教育领域。项目链接包含完整资源包,鼓励用户参与改进并分享创作成果。该案例体现了Arduino在机

雕爷学编程 1095

LSM树(日志结构合并树)总结-java版

目录 为什么要有LSM树 数据库存储引擎索引的底层结构 BTree的随机写特点 LSM树的诞生背景 简介 LSM树与B树的差异 LSM树优化 LSM树基本原理 LevelDB中的LSM HBase中的LSM树 图解 插入 查找 删除 为什么要有LSM树 数据库存储引擎索引的底层结构 哈希存储引擎 是哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序...

今天吃了吗的博客 6064

Unity零基础到入门 ☀️| 基础知识入门篇章,看完就可以做游戏啦! | 寻找C站宝藏

Unity入门基础知识。本篇文章介绍了关于Unity入门的一些基础知识,包括基本概念和使用实例。简单易上手,轻松实现Unity入门操作!

努力前行,总会成为自己心中的那道光 1万+

LSM树由来、设计思想以及应用到HBase的索引

原文地址:http://www.cnblogs.com/yanghuahui/p/3483754.html 讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎  是哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序扫描,对应的存储系统为key-value存储系统。对于key-value的插入以及查询,哈希表的复杂度都是O(1

BaoChuquan的博客 370

PCIe 6.0 – 关于 PCI Express Gen6 您需要知道的一切

幸运的是,PCIe 6.0 FEC 足够轻,对延迟的影响最小。在电气层上,PCIe 6.0 使用 PAM4 信号(“四级脉冲幅度调制”),每个时钟周期将 2 位组合为 4 个幅度级别(00、01、10、11),与 PCIe 5.0 和前几代相比,它使用 NRZ 调制,每个时钟周期 1 位和两个幅度级别 (0, 1)。虽然 PAM4 信号更容易出错,但由于调制技术的性质,与 PCIe 5.0 相比,通道损耗不受影响,因此 PCB 上 PCIe 6.0 信号的范围将与 PCIe 5.0 相同。

qq_43416206的博客 3433

TIA博途中如何访问不同IP网段的PLC以及不同IP网段的PLC如何通信?

TIA博途中如何访问不同IP网段的PLC以及不同IP网段的PLC如何通信? 处于不同IP网段的以太网设备需要通信时,需要有路由设备连接2个不同IP网段的网络。 如下图所示,网络A的地址为192.168.0.0,网络B的地址为192.168.1.0;2个网络处于不同的网段之中,此时,则需要路由设备来实现2者之间的通信。 网络A中的设备若要和网络B中的设备通信,则需要将自己的网关地址设置为:192.168.0.1;同理,网络B中的设备若要和网络A中的设备通信,则需要将自己的网关地址设置为:192.168.1

Robot_PLC_HMI_Automation 8163

HBase LSM树存储引擎

1.前提 讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎。 B树存储引擎。 LSM树(Log-Structured Merge Tree)存储引擎。 2. 哈希存储引擎 哈希存储引擎哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序扫描,对应的存储系统为key-value存储系统。对于key-value的插入以及查询,哈希表的复杂度都是O(1),明显比树的操作O(n)快,如果不需要有序的遍历数据,哈希表就非常适合。代表性的数据库有:Red...

琪琪的博客 402

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

数据结构:LSM树(Log-Structured Merge Tree)存储引擎

LSM树(Log-Structured Merge Tree)存储引擎 代表数据库:nessDB、leveldb、hbase等 核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在内存中,等到积累到最后多之后,再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的,可以通过合并排序的方式快速合并到

码农架构 1989

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

LSM树 和 TSM存储引擎 简介

LSM树(Log-Structured Merge Tree)存储引擎 代表数据库:nessDB、leveldb、Hbase等 LSM Tree 日志结构化合并树,核心思想的核心就是放弃部分读能力,换取写入的最大化能力。它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在磁盘中,等到积累到最后多之后,再使用归并排序的方式将内...

changyanmanman的专栏 7992

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

LSM树(Log-Structured Merge Tree)存储引擎

LSM树(Log-Structured Merge Tree)存储引擎 代表数据库:nessDB、leveldb、hbase等 核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在磁盘中,等到积累到最后多之后,

远方的专栏 4万+

Algorithms_LSM树(Log-Structured Merge Tree)

为了优化读取性能,LSM树通常使用多层级的SSTable文件,其中越靠近顶部的SSTable越新,越靠近底部的SSTable越旧。从分布式数据库系统到云存储服务,LSM树提供了一种高效的方式来处理大量的数据,并支持高性能的写入和读取操作。综上所述,LSM树和B+树在写入性能、读取性能、存储空间使用和合并操作等方面有明显的区别,因此在不同的使用场景中选择合适的数据结构非常重要。LSM树:LSM树需要定期执行合并操作,以将多个SSTable文件合并为更大的文件,以减小数据碎片,提高读取性能,以及管理存储空间。

小工匠 8669

LSM树 Log-Structured Merge Tree

代表数据库:nessDB、leveldb、hbase、InfluxDB等 核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在内存中,等到积累到最后多之后,再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的,可以通过合并排序的方式快速合并到一起)。 日志结构的合并树(LSM-tree)是一种基于硬

m0_37163942的博客 813
上一篇: HBase 介绍
下一篇: ClickHouse 介绍
d3y1
博客等级 码龄12年 1438粉丝 2807原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值