LSM-Tree 原理分析

原创 已于 2024-04-28 15:11:19 修改 · 425 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#lsm-tree

于 2024-04-28 14:53:05 首次发布
这篇文章详细介绍了LSM树，一种用于提高数据存储和检索效率的数据结构，通过结合日志和内存中的数据进行合并，适合大规模分布式系统。作者强调了其在数据管理中的重要性和复习价值。
走向自由
关注
OceanBase数据库LSM-Tree存储引擎深度解析：合并写入与压缩优化策略
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
07-30 1100
OceanBase数据库采用创新的LSM-Tree架构设计，通过"基线-增量"分离存储实现高性能。内存中的MemTable处理写入，磁盘上的SSTable存储有序数据，利用多级缓存加速读取。写入时先写日志再更新内存，合并操作将增量数据整合为基线数据以优化查询性能。相比传统B+树引擎，OceanBase在写入吞吐、压缩效率和存储成本方面优势显著，特别适合写入密集型场景。合并操作作为核心机制，通过多种触发方式和执行策略平衡性能与资源消耗。
漫谈RocksDB(二)基础讲解——仿佛兮若轻云之蔽月，飘飘兮若流风之回雪
microGP的专栏
09-15 3045
前言 古话说得好：“工欲善其事必先利其器”，要做好一件事情之前先把工具或者武器强化一下还是很值当的。所以本文将会把RocksDB的主要概念向大家讲解一下，方便后面具体内容的展开。本文所提到的概念大家仅需要了解和留个印象，如果不是很理解的话不需要纠结，后续的章节中会详细展开。 正文 RocksDB的概念纷繁复杂，我根据自己的理解将概念分为架构概念、存储概念以及操作概念，分门别类，帮助大家理解。下面就按照这个观其貌、识其物、辩其行的顺序进行讲解。 架构概念 嵌入式数据库 首先RocksDB是一个嵌入
RocksDB：manifest设计源码详解 + db recover流程
easonwx的博客
08-09 1622
本文介绍RocksDB manifest。
LSM树存储引擎
码农之道
03-27 3524
2.2.3　LSM树存储引擎 LSM树（Log Structured Merge Tree）的思想非常朴素，就是将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘，读取时需要合并磁盘中的历史数据和内存中最近的修改操作。LSM树的优势在于有效地规避了磁盘随机写入问题，但读取时可能需要访问较多的磁盘文件。本节介绍LevelDB中的LSM树存储引擎。 1．存储结构
mini-lsm通关笔记Week2Overview
qq_16860161的博客
09-25 902
合并策略通常的目的是控制排序的run层数，从而使读放大保持在一个合理的数量。通常有两类合并策略：分级(leveled)和分层(tiered在分级合并中，用户可以指定最大级别数，即系统中排序的run的层数（L0除外）。例如，RocksDB通常在分级合并模式下保持6级（排序的run在合并过程中，来自两个相邻层的SST将被合并，然后产生的SST将被放到两个层的较低层。因此，在分级合并中，您通常会看到一个小的排序的run与一个大的排序的run合并。排序的run。
badger的mainfest文件解读
weixin_40405692的博客
08-13 335
ReplayManifestFile函数在回放数据的时候，是在重新打开数据库，数据库目录存在MANIFEST就直接从MANIFEST来读取，即使上次在写MANIFEST-REWRITE的发生断电，内存中的lsm tree的sst表修改是在后的，不会执行，不影响数据可靠性，等下次重新写MANIFEST文件的时候，就会重新把上次的脏数据擦除。mainfest文件是记录lsm tree中的各层tables表的创建删除记录的一个日志文件，主要的作用是badger数据库重启后，重新恢复内存中的各层tables表。
开源项目Indeed LSM Tree指南及常见问题解决方案
gitblog_01091的博客
11-07 804
开源项目Indeed LSM Tree指南及常见问题解决方案 项目基础介绍 Indeed LSM Tree 是一个专为高吞吐量随机访问读写设计的高性能键值存储系统。它被广泛应用于Indeed公司，支撑着每天数亿次的职位搜索服务。该项目的核心实现基于日志结构化合并树（Log-Structured Merge Tree, LSM Tree）的概念，分为三个部分：lsmtree-core负责核心的LSM...
LSM-Tree 和 B-tree 数据存储结构对比
一个写湿的程序猿
09-17 932
LSM-Tree 和 B-tree 数据存储结构对比顺序存储 与 哈希索引SSTable 和 LSM treeB-Tree存储结构的比对 所谓数据库，最基础的功能，就是保存数据，并且在需要的时候可以方便地检索到需要的数据。在这个基础上，演化出了不同的数据库系统，以及多种索引机制帮助检索数据。 顺序存储 与 哈希索引 试想一下，如果按照保存数据，并且在需要的时候可以方便地检索到需要的数据这一标准，设计一个简单的数据库，那么最简单的做法应该怎么做呢？ 最简单的做法，就是通过顺序保存数据到一个日志文件中。然后
LSM-Tree介绍
breakout_alex的博客
12-16 1万+
前言 2006年的OSDI有两篇Google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTable，比如Google Earth和Google Analytics，因此它和GFS、MapReduce并称为谷歌技术"三宝"。 Google发布的BigTable这篇论文的一个很有价值的方面是它使用
LSM-Tree和B-Tree的对比与优劣势分析
LSM-Tree（Log-Structured Merge-Tree）和B-Tree是两种常见的数据结构，用于在数据库系统中管理和组织数据。它们在数据的插入、查询和存储上有着不同的特点和优势，适用于不同的应用场景。 **LSM-Tree**是一种基于...
LSM-tree
最新发布
03-15
### LSM-Tree 的概念 LSM-Tree 是一种专门为写入密集型工作负载设计的数据结构，其核心思想是通过减少随机写入操作来提高磁盘 I/O 性能[^2]。它利用内存和磁盘的分层存储机制，在内存中先缓存数据变更（通常称为 ...
LSM 优化系列（六）-- 【ATC‘20】MatrixKV : NVM 的PMEM 在 LSM-tree的write stall和写放大上的优化
天行健，地势坤
01-16 2476
华为天才少女 153w 年薪 的 华中科技大学博士的顶会论文，这里的优化点主要集中在结合NVM PMEM的LSM的write stall 和 写放大上。
Hbase速览
disuihuo0872的博客
09-23 350
一、概述 理解为hadoop中的key-value存储，数据按列存储，基于HDFS和Zookeeper 1.应用 2.场景 适用场景： 存储格式：半结构化数据，结构化数据存储，Key-Value存储 数据版本：固定集合（多版本），定时删除（TTL） 更新：列族结构经常调整 写Pattern：高并发写入 不适用场景： 事务 复杂查询Operator...
RocksDB的一些基本概念及简单应用（扫盲）
热门推荐
大老龙的博客
02-07 2万+
本文介绍RocksDB的一些基本概念和术语，及Java程序如何使用RocksDB。
阿里技面之LSM-Tree如何加速随机写
神技圈子的博客
10-07 3113
面试还原 技面第二轮面试题问到了LSM-Tree是如何实现加速随机写的。不是存储研发方向的童鞋们一看这个题可能会一脸懵逼，可能会疑惑什么是LSM-Tree啊，以前只听过红黑树、B+树。那么，这个数据结构又有什么特点，为什么能用来对随机写进行加速的。 什么是LSM Tree LSM树（英文全程Log-Structured Merge Tree）它是一种分层、有序、面向磁盘的存储结构。先看Log Structured表示日志结构的，日志是软件或者系统打出来的，就像平时写日记一样，一页页往下写，系统写日志不会写错
LevelDB源码解读——简介及数据结构
haha与长颈鹿的博客
10-19 1326
久闻LevelDB大名，由于课程需要，借助此次机会对levelDB源码的几个主要模块进行解读，同时加强对c++的理解。 LevelDB简介 LevelDB是一个google开源的持久型K-V数据存储引擎，是一个很好的c++学习源码。LevelDB的主要特点在于其写性能十分优秀（在牺牲了部分读性能的前提下），这也是LSM-Tree的主要特性之一。 LevelDB的安装这里不再叙述，详见LevelDB...
数据结构：LSM树（Log-Structured Merge Tree）存储引擎
码农架构
09-10 1760
LSM树（Log-Structured Merge Tree）存储引擎 代表数据库：nessDB、leveldb、hbase等 核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree ，这个概念就是结构化合并树的意思，它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，而可以先将最新的数据驻留在内存中，等到积累到最后多之后，再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的，可以通过合并排序的方式快速合并到
【翻译】理解LSM树：重度写数据库背后的实现机制
douruiling的博客
11-09 1354
https://yetanotherdevblog.com/lsm/ A log-structured merge-tree (LSM tree) is a data structure typically used when dealing with write-heavy workloads. The write path is optimized by only performing sequential writes. LSM trees are the core data structure be
LSM树由来、设计思想以及应用到HBase的索引
weixin_34275734的博客
12-20 651
讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来： 哈希存储引擎  是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是your Mr.Right B树存储引擎是B树（关于B树的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值