rocksDB要点

最新推荐文章于 2025-07-29 16:27:38 发布
原创 最新推荐文章于 2025-07-29 16:27:38 发布 · 533 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rocksDB #LSM-Tree #定义

RocksDB是一个快速存储系统，利用Flash或RAM硬件特性，优化写性能。它基于LSM-Tree，内存中构建小树，达到一定规模后Merge到磁盘大树。多级文件格式确保数据按key有序，使用B树+有序文件集批量写入。然而，这种设计带来了写放大、读放大和空间放大的问题。

rocksDB定义

快速存储系统，充分挖掘 Flash or RAM 硬件的读写特性，支持单个 KV 的读写以及批量读写。本质：牺牲了一部分读的性能和增加了合并的开销，换取了高效的写性能。

LSM-Tree(Log-Structured-Merge-Tree)的理解

  1. 简述：内存中构建“小树”，到一定的规模，Merge到磁盘的“大树”。
  2. 多level的文件格式：最热最新的数据L0层，最冷最老的数据LN层的布局，磁盘通过B树索引。
  3. B树+“有序文件集”批量写入（定义为同level）
  4. 数据按key有序，合并不同file、level上的数据时，类似merge-join。

 

基本文件格式

  1. memtable：内存文件数据格式，新数据进内存。</
最低0.47元/天 解锁文章
从零到生产级：RocksDB性能调优与实战全解析
墨夶的博客
09-05 587
本文介绍了高性能存储引擎RocksDB的核心特性与生产级实践。作为分布式系统首选存储引擎，RocksDB具有SSD优化、WAL持久化、多硬件适配等特性。文章通过C#代码示例展示了基础操作、批量写入、快照读取等核心功能，并详细解析了WriteBufferSize、Compression等关键配置参数。在性能优化部分，探讨了写放大、读放大等关键指标及调优方法，最后以TiDB为例说明生产环境中的分层压缩等优化策略。全文从原理到实践，为构建高吞吐、低延迟存储系统提供了完整指南。
从一个案例研究 磁盘对Flink中RocksDB状态后端的影响
yscoder的博客
05-20 911
RocksDB是Flink中的一个状态后端，它允许作业的状态大于可用内存量，因为状态后端可以将状态溢出到本地磁盘。这意味着磁盘性能可能会影响使用RocksDB的Flink作业的性能。通过一个案例研究，本文说明了使用RocksDB的Flink作业的吞吐量下降问题，并演示了我们如何将底层磁盘的性能确定为根本原因。 作业和执行环境 我们处理的是一个典型的物联网（IoT）工作，它处理数百万台设备发出的事件流。每个事件都包含设备标识符（ID）、事件类型和生成事件时的时间戳。作业基于设备ID对流进行分区，并以状态存
LSM-Tree 与 RocksDB
weixin_37871174的博客
03-04 2525
转载：http://www.importnew.com/28083.html冥冥之中，接触到了不同于关系数据库的NoSQL Key-Value存储引擎RocksDB，懵懵懂懂、充满好奇，google一点，满眼皆是LSM-Tree，头晕眼花、若即若离，便有了这篇文章，一起与大家分享这趟探险之旅。LSM-Tree(Log-Structured-Merge-Tree)LSM从命名上看，容易望文生义成一个...
Rocksdb LSM Tree Compaction策略
大隐隐于野
10-25 953
RocksDB读写简介直接画图说明。这张图取自Flink PMC大佬Stefan Richter在Flink Forward 2018演讲的，笔者重画了一下。RocksDB的写缓存（即LSM树的最低一级）名为memtable，对应HBase的MemStore；读缓存名为block cache，对应HBase的同名组件。执行写操作时，先同时写memtable与预写日志WAL。
从 RocksDB 看 LSM-Tree 算法设计
SharingOfficer的博客
12-29 2273
前言 目前笔者本人正在基于 Pulsar 搭建公司内部的消息平台，自然也对其底层存储做了一些研究。Pulsar 使用 BookKeeper 作为存储层，BookKeeper 底层使用到了 RocksDB 来保存 Entry (BookKeeper 中的数据存储单元) 对应的位置索引。RocksDB 是我一直关注的存储引擎技术，因为之前在调研持久型 KV 存储的时候，发现主流开源的 pika/kvrocks，以及最终选用的云厂商的持久型 KV 存储服务，底层都是基于 RocksDB。还有大名鼎鼎的 TiDB
HBase|ClickHouse|MongoDB都在用LSM-Tree存储原理
huzechen的博客
07-20 3146
上篇文章介绍了：ClickHouse内核分析-MergeTree的存储结构和查询加速，其实MergeTree的思想跟LSM-Tree相同的。我就顺藤摸瓜，再来补补LSM-Tree，学习还...
[转][译] 存储引擎原理：LSM
weixin_30781775的博客
07-27 235
原译文地址：http://www.tuicool.com/articles/qqQV7za http://www.zhihu.com/question/19887265 http://blog.youkuaiyun.com/v_july_v/article/details/7526689 http://blog.nosqlfan.com/about http://forchenyun.iteye.co...
RocksDB 学习笔记
luo222的专栏
08-18 2716
RocksDB是FaceBook起初作为实验性质开发的一个高效数据库软件，旨在充分实现快存上存储数据的服务能力。RocksDB的主要设计点是在快存和高服务压力下性能表现优越，支持point lookup 和 range scan。RockesDB是一个嵌入式的K-V（任意字节流）存储,支持Get(key)、Put（Key）、Delete（Key）和NewIterator()。Ro...
rocksdb 性能测试
06-20
以下是RocksDB性能测试的一些要点： 1. **基准测试**：RocksDB提供了官方的性能基准工具（`db_bench`），用于测量读写操作的吞吐量、随机和顺序访问的性能，以及内存使用情况。 2. **压力测试**：通过模拟大量并发...
从JoinBatchGroup 代码细节 来看Rocksdb的相比于leveldb的写入优势
天行健，地势坤
04-10 2434
真是精心雕琢的引擎啊
从 RocksDB 看 LSM-Tree 算法设计，2024年最新快手java社招面经
2401_84104460的博客
04-10 1294
1、看视频进行系统学习这几年的Crud经历，让我明白自己真的算是菜鸡中的战斗机，也正因为Crud，导致自己技术比较零散，也不够深入不够系统，所以重新进行学习是很有必要的。我差的是系统知识，差的结构框架和思路，所以通过视频来学习，效果更好，也更全面。关于视频学习，个人可以推荐去B站进行学习，B站上有很多学习视频，唯一的缺点就是免费的容易过时。2、读源码，看实战笔记，学习大神思路“编程语言是程序员的表达的方式，而架构是程序员对世界的认知”。所以，程序员要想快速认知并学习架构，读源码是必不可少的。
LSM 优化系列（四） -- Rocksdb和Lethe 对Delete问题的优化
天行健，地势坤
11-28 4497
LSM/Rocksdb 引擎在批量 delete之后 会引入读放大，空间放大，写放大等问题，针对该问题的业界方案做一个代码层级的验证。 从rocksdb 到 SIGMOD'20 的 Lethe，欢迎大家讨论。
rocksdb介绍之数据写入流程
cocoti的博客
06-23 2955
rocksdb是一个kv数据库，其介绍可以参考http://vpha.rd.tp-link.net/phame/post/view/3566/rocksdb_%E5%AD%98%E5%82%A8%E5%8E%9F%E7%90%86%E4%BB%8B%E7%BB%8D/本文主要介绍rocksdb写入数据的流程与相关代码，因为是边学习边写的，可能有一些疏漏请读者见谅。rocksdb的写入操作大致可以分为4中：put, merge, deletion, range deletion。put指的是插入操作，插入一个
深入解析RocksDB的MVCC和LSM Tree level
最新发布
lifallen的博客
07-29 2098
RocksDB的版本控制机制解析 RocksDB通过多版本并发控制(MVCC)机制实现高效读写与数据一致性，其核心组件包括Version、VersionSet和VersionEdit。Version代表数据库在特定时间点的完整快照，包含LSM-Tree各层级的文件元数据；VersionSet管理所有列族的Version对象，形成双向链表；VersionEdit则记录增量变更。三者协同工作，确保数据操作的原子性和一致性。 关键特性： 不可变性：Version对象一旦创建便不再修改
Rocksdb 的文件类型与说明
鲸鱼写程序的专栏
07-09 765
001461.sst CURRENT IDENTITY LOCK LOG MANIFEST-000008 OPTIONS-000005
分布式缓存学习笔记（五）—— 批量写入
weixin_42149424的博客
05-20 651
上一章介绍了利用pipelining技术在不改变任何服务端实现的情况下提升性能，这样的提升非常有限。本章将要做的是深入 RocksDB 内部，借助它的批量写入功能来给我们的缓存服务 Set 操作提速。
【图文详解】一文全面彻底搞懂HBase、LevelDB、RocksDB等NoSQL背后的存储原理：LSM-tree日志结构合并树...
热门推荐
AI天才研究院
11-21 1万+
LSM 树广泛用于数据存储，例如 RocksDB、Apache AsterixDB、Bigtable、HBase、LevelDB、Apache Accumulo、SQLite4、Tarantool、WiredTiger、Apache Cassandra、InfluxDB和ScyllaDB等。在这篇文章中，我们将深入探讨 Log Structured Merge Tree ，又名 LSM 树：许多高...
对于RocksDB和LSM Tree的一些理解，以及TiDB、TDSQL架构初识
m0_75081815的博客
01-25 1385
- HBase、LevelDB，rocksDB（是一个引擎）底层的数据结构是LSM Tree - 适合写多读少的场景，都是追加写入内存中的MemTable，写入一条删除（或修改）标记，而不用去访问实际的数据，从而大大提高写的速度 - 追加顺序写（innodb的页是随机的） - sst和memTable有序是为了compact，范围查询，key 的有序性可以让我们对sst其进行增量编码、indexblock的页目录
rocksdb合并原理
weixin_34179968的博客
08-06 917
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值