rocksDB要点

最新推荐文章于 2024-04-10 06:16:56 发布
最新推荐文章于 2024-04-10 06:16:56 发布
阅读量508 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： rocksDB LSM-Tree 定义
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dlphay/article/details/104056992
RocksDB是一个快速存储系统，利用Flash或RAM硬件特性，优化写性能。它基于LSM-Tree，内存中构建小树，达到一定规模后Merge到磁盘大树。多级文件格式确保数据按key有序，使用B树+有序文件集批量写入。然而，这种设计带来了写放大、读放大和空间放大的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

rocksDB定义

快速存储系统，充分挖掘 Flash or RAM 硬件的读写特性，支持单个 KV 的读写以及批量读写。本质：牺牲了一部分读的性能和增加了合并的开销，换取了高效的写性能。

LSM-Tree(Log-Structured-Merge-Tree)的理解

  1. 简述：内存中构建“小树”，到一定的规模，Merge到磁盘的“大树”。
  2. 多level的文件格式：最热最新的数据L0层，最冷最老的数据LN层的布局，磁盘通过B树索引。
  3. B树+“有序文件集”批量写入（定义为同level）
  4. 数据按key有序，合并不同file、level上的数据时，类似merge-join。

 

基本文件格式

  1. memtable：内存文件数据格式，新数据进内存。</
最低0.47元/天 解锁文章

200万优质内容无限畅学
从 RocksDB 看 LSM-Tree 算法设计
SharingOfficer的博客
12-29 2208
前言 目前笔者本人正在基于 Pulsar 搭建公司内部的消息平台，自然也对其底层存储做了一些研究。Pulsar 使用 BookKeeper 作为存储层，BookKeeper 底层使用到了 RocksDB 来保存 Entry (BookKeeper 中的数据存储单元) 对应的位置索引。RocksDB 是我一直关注的存储引擎技术，因为之前在调研持久型 KV 存储的时候，发现主流开源的 pika/kvrocks，以及最终选用的云厂商的持久型 KV 存储服务，底层都是基于 RocksDB。还有大名鼎鼎的 TiDB
RocksDB 学习笔记
luo222的专栏
08-18 2678
RocksDB是FaceBook起初作为实验性质开发的一个高效数据库软件，旨在充分实现快存上存储数据的服务能力。RocksDB的主要设计点是在快存和高服务压力下性能表现优越，支持point lookup 和 range scan。RockesDB是一个嵌入式的K-V（任意字节流）存储,支持Get(key)、Put（Key）、Delete（Key）和NewIterator()。Ro...
LSM-Tree 与 RocksDB
weixin_37871174的博客
03-04 2479
转载：http://www.importnew.com/28083.html冥冥之中，接触到了不同于关系数据库的NoSQL Key-Value存储引擎RocksDB，懵懵懂懂、充满好奇，google一点，满眼皆是LSM-Tree，头晕眼花、若即若离，便有了这篇文章，一起与大家分享这趟探险之旅。LSM-Tree(Log-Structured-Merge-Tree)LSM从命名上看，容易望文生义成一个...
Rocksdb LSM Tree Compaction策略
大隐隐于野
10-25 692
RocksDB读写简介直接画图说明。这张图取自Flink PMC大佬Stefan Richter在Flink Forward 2018演讲的，笔者重画了一下。RocksDB的写缓存（即LSM树的最低一级）名为memtable，对应HBase的MemStore；读缓存名为block cache，对应HBase的同名组件。执行写操作时，先同时写memtable与预写日志WAL。
HBase|ClickHouse|MongoDB都在用LSM-Tree存储原理
huzechen的博客
07-20 3076
上篇文章介绍了：ClickHouse内核分析-MergeTree的存储结构和查询加速，其实MergeTree的思想跟LSM-Tree相同的。我就顺藤摸瓜，再来补补LSM-Tree，学习还...
[转][译] 存储引擎原理：LSM
weixin_30781775的博客
07-27 215
原译文地址：http://www.tuicool.com/articles/qqQV7za http://www.zhihu.com/question/19887265 http://blog.youkuaiyun.com/v_july_v/article/details/7526689 http://blog.nosqlfan.com/about http://forchenyun.iteye.co...
从一个案例研究 磁盘对Flink中RocksDB状态后端的影响
yscoder的博客
05-20 871
RocksDB是Flink中的一个状态后端，它允许作业的状态大于可用内存量，因为状态后端可以将状态溢出到本地磁盘。这意味着磁盘性能可能会影响使用RocksDB的Flink作业的性能。通过一个案例研究，本文说明了使用RocksDB的Flink作业的吞吐量下降问题，并演示了我们如何将底层磁盘的性能确定为根本原因。 作业和执行环境 我们处理的是一个典型的物联网（IoT）工作，它处理数百万台设备发出的事件流。每个事件都包含设备标识符（ID）、事件类型和生成事件时的时间戳。作业基于设备ID对流进行分区，并以状态存
rocksdb 性能测试
最新发布
06-20
以下是RocksDB性能测试的一些要点： 1. **基准测试**：RocksDB提供了官方的性能基准工具（`db_bench`），用于测量读写操作的吞吐量、随机和顺序访问的性能，以及内存使用情况。 2. **压力测试**：通过模拟大量并发...
大数据处理核心要点：29500-3.pdf技术要点解析
[大数据处理核心要点：29500-3.pdf技术要点解析](https://img.php.cn/upload/image/777/229/820/1676449481441706.jpg) # 摘要 大数据处理在信息时代面临着前所未有的挑战，从数据的存储、管理到高效计算，每个环节...
从JoinBatchGroup 代码细节 来看Rocksdb的相比于leveldb的写入优势
天行健，地势坤
04-10 2169
真是精心雕琢的引擎啊
从 RocksDB 看 LSM-Tree 算法设计，2024年最新快手java社招面经
2401_84104460的博客
04-10 1152
1、看视频进行系统学习这几年的Crud经历，让我明白自己真的算是菜鸡中的战斗机，也正因为Crud，导致自己技术比较零散，也不够深入不够系统，所以重新进行学习是很有必要的。我差的是系统知识，差的结构框架和思路，所以通过视频来学习，效果更好，也更全面。关于视频学习，个人可以推荐去B站进行学习，B站上有很多学习视频，唯一的缺点就是免费的容易过时。2、读源码，看实战笔记，学习大神思路“编程语言是程序员的表达的方式，而架构是程序员对世界的认知”。所以，程序员要想快速认知并学习架构，读源码是必不可少的。
LSM 优化系列（四） -- Rocksdb和Lethe 对Delete问题的优化
天行健，地势坤
11-28 4237
LSM/Rocksdb 引擎在批量 delete之后 会引入读放大，空间放大，写放大等问题，针对该问题的业界方案做一个代码层级的验证。 从rocksdb 到 SIGMOD'20 的 Lethe，欢迎大家讨论。
rocksdb介绍之数据写入流程
cocoti的博客
06-23 2680
rocksdb是一个kv数据库，其介绍可以参考http://vpha.rd.tp-link.net/phame/post/view/3566/rocksdb_%E5%AD%98%E5%82%A8%E5%8E%9F%E7%90%86%E4%BB%8B%E7%BB%8D/本文主要介绍rocksdb写入数据的流程与相关代码，因为是边学习边写的，可能有一些疏漏请读者见谅。rocksdb的写入操作大致可以分为4中：put, merge, deletion, range deletion。put指的是插入操作，插入一个
Rocksdb 的文件类型与说明
鲸鱼写程序的专栏
07-09 731
001461.sst CURRENT IDENTITY LOCK LOG MANIFEST-000008 OPTIONS-000005
分布式缓存学习笔记（五）—— 批量写入
weixin_42149424的博客
05-20 601
上一章介绍了利用pipelining技术在不改变任何服务端实现的情况下提升性能，这样的提升非常有限。本章将要做的是深入 RocksDB 内部，借助它的批量写入功能来给我们的缓存服务 Set 操作提速。
【图文详解】一文全面彻底搞懂HBase、LevelDB、RocksDB等NoSQL背后的存储原理：LSM-tree日志结构合并树...
热门推荐
AI天才研究院
11-21 1万+
LSM 树广泛用于数据存储，例如 RocksDB、Apache AsterixDB、Bigtable、HBase、LevelDB、Apache Accumulo、SQLite4、Tarantool、WiredTiger、Apache Cassandra、InfluxDB和ScyllaDB等。在这篇文章中，我们将深入探讨 Log Structured Merge Tree ，又名 LSM 树：许多高...
rocksdb合并原理
weixin_34179968的博客
08-06 857
2019独角兽企业重金招聘Python工程师标准>>> ...
LSM树原理及应用到HBase的索引
GSpinach的博客
08-07 2405
@Author : Spinach | GHB @Link : http://blog.youkuaiyun.com/bocai8058 概念 B+树 LSM树 主要原理 LSM树的读写 LSM树的读写 LSM树的优化方式 关于LSM最本质原理的3个问题 B树与LSM树的适应场景 概念 LSM树全称是基于日志结构的合并树（Log-Structured M...
获得PCC性能大赛背后的RocksDB引擎:5分钟全面了解其原理
weixin_45583158的博客
03-22 693
导读：在 3 月 4 日举办的高可用架构 PCC 性能挑战赛上（PCC 是 Performance Challenge Championship 的缩写），以 Rocks...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值