记一次RocksDB查询慢的问题定位--因大量删除墓碑Tombstone导致

最新推荐文章于 2025-09-11 06:09:19 发布
原创 最新推荐文章于 2025-09-11 06:09:19 发布 · 2.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#RocksDB #LSM-Tree #NoSQL数据库 #HugeGraph #性能分析

在HugeGraph + RocksDB环境中，由于大量删除操作产生了墓碑Tombstone，导致某gremlin查询耗时30s。分析发现，RocksDB的id get操作占据了主要时间。解决方案包括避免频繁删除或使用delete代替delete-range，以及在大量删除后执行compaction来提升性能。

在HugeGraph Graph Database + RocksDB Backend环境中，以下gremlin语句查询慢（索引查询），消耗时间将近30s（正常是毫秒级），最终的结果4000条左右：

g.V().hasLabel('process')
 .has('timestamp', between('2020-05-09 06:00:00', '2020-05-09 06:05:00'
最低0.47元/天 解锁文章
使用反汇编工具IDA查看动态库的汇编代码上下文，结合安卓系统生成的Tombstone文件，快速定位安卓app程序底层C++库的崩溃问题
dvlinker的技术专栏
08-14 3万+
使用IDA反汇编工具查看汇编代码上下文，结合安卓系统自动生成的Tombstone文件，去分析安卓app程序底层C++模块的崩溃问题。
百度开源图数据库HugeGraph与RocksDB映射关系
大老龙的博客
11-11 1285
如题，本文讲述向HugeGraph写入一个Vertex（PRIMARY_KEY ID策略为例），存到RocksDB中会生成几个KV。
RocksDB Tombstone 详解
qq_37216252的博客
05-04 1809
为什么会有墓碑？ 我们知道 TP 数据库一般选择 KV 引擎作为存储引擎，数据库的元数据和数据通过一定的编码规则变成 KV 对存储在存储引擎中，比如 CockroachDB 数据库的编码前缀规则如下。
Redis学习笔记
yueliangzy的博客
05-29 1815
Redis是一款基于键值对的NoSQL数据库，key是String类型，它的value支持多种数据结构：字符串、哈希、链表、集合、有序集合等。（使得Redis 能够在实际业务场景中得到广泛的应用）Redis将所有的数据都存放在内存中，所以它的读写性能十分惊人。同时，Redis还可以将内存中的数据以快照（RDB，整体拷贝，会产生阻塞、不适合实时备份）或日志（AOF， 增量存，存指令，数据体积大、恢复慢）的形式保存到硬盘上，以保证数据的安全性。
基于10亿+数据，HugeGraph与Nebula Graph的图遍历查询性能测试
penriver的博客
04-08 3138
随着社交、电商、金融、零售、物联网等行业的快速发展，现实社会织起了了一张庞大而复杂的关系网，亟需一种支持海量复杂数据关系运算的数据库即图数据库。本系列文章是学习知识图谱以及图数据库相关的知识梳理与总结 本文会包含如下内容： 基于friendster数据，对比测试HugeGraph与Nebula的图遍历查询性能 本篇文章适合人群：架构师、技术专家、对知识图谱与图数据库感兴趣的高级工程师 1. 环境准备及数据导入 在nebula，hugegraph单机版分别导入 friendster数据。服务器版本是.
HBase|ClickHouse|MongoDB都在用LSM-Tree存储原理
huzechen的博客
07-20 3156
上篇文章介绍了：ClickHouse内核分析-MergeTree的存储结构和查询加速，其实MergeTree的思想跟LSM-Tree相同的。我就顺藤摸瓜，再来补补LSM-Tree，学习还...
代码修改的微创手术法：RocksDB MultiGet 的协程优化，10 行代码提升 10 倍性能
Gibson314的博客
08-23 870
在 RocksDB 中，MultiGet 就是干这个事的，不过在当时的 RocksDB 中，MultiGet 基本上就是顺次执行各个 Key 的 Get，并没有进行任何(针对 IO 的)优化。boost fiber 大概是最优秀的(有栈)协程实现了，所以我一开始就选择了它，但是在读 fiber 代码时，还是发现了很多可以优化的点，所以，我对 boost fiber 做了。，只要上层使用了这个接口，上层的任务就完成了，至于如何优化，是下层存储引擎的事情。的 IO 优化，查看一下代码，各种相关改动，
tombstone-analyzer:[只读]使用schebtombstone-logger库创建的墓碑的报告生成
05-08
scheb /墓碑分析仪 使用库创建的墓碑的报告生成。 该存储库是的子存储库，并且是READ ONLY 。 请不要在此处提交任何请求请求。 请改用。 文献资料 可以在找到文档。 执照 该软件可在下。
RocksDB简介
weixin_45626756的博客
09-08 1605
SST数量越来越多，查询性能会越来越差，并且因为SST的不可变性，太多的更新操作会造成一定程度上的读放大效应，所以需要一个周期性的压缩操作来对LSM树进行压实，并且还可以通过Compaction来实现一些其他高级功能，比如TTL。memtable 和 immutable memtable 的数据结构是一样的，区别在于一个可写一个不可写，其中 levelDB 只支持一个 immutable memtable， RocksDB 在此基础上做了优化，支持多个，提高写入性能。合并的结果会替换掉参与合并的L2文件。
Rocksdb DeleteRange实现原理
天行健，地势坤
07-25 5496
`DeleteRange`接口的设计是为了代替传统的删除一个区间[start,end) 内的key-value的接口
RocksDB中大规模删除操作导致的性能问题分析与解决方案
最新发布
gitblog_00179的博客
09-11 405
在使用RocksDB作为存储引擎时，当应用程序执行大规模删除操作（特别是通过逐个删除键值对的方式）时，会导致数据库性能严重下降。这种情况会在数据库中产生大量墓碑标记（tombstones），而后续的压缩（compaction）过程可能需要数天时间才能完成，期间数据库几乎处于不可用状态。 ## 技术原理分析 RocksDB采用LSM树结构，删除操作实际上是通过写入一个特殊标记（墓碑）来实现的。当...
RocksDB问题点解决及相关学习记录
心中的亚雷泽的博客
05-18 2873
RocksDB实际使用过程中，面对高并发环境，出现了数据存储阻塞的问题。 [场景介绍] 数据量/次：300多张表，每张表数据量为4K个Key-Value左右。 下盘周期：60s一次。 [分析日志] RocksDB的日志，先后出现“Stall write”与“Stop write”相关错误日志；操作RocksDB的相关Java线程出现阻塞的情况。 查找资料，网上的解释为： 我们知道， 当flush/compaction赶不上write rate的速度时，rockdb会降低write ra..
RocksDB调优指南
热门推荐
zerooffdate的专栏
04-22 1万+
本文原味来自rocksdb的英文wiki。翻译后放在了我的repo中rocksdb-doc-cn，此处只做简单转发，并且原文没有做任何校对，欢迎提修改意见。希望能帮助到有需要的朋友 下面是正文
rocksdb的设置选项和基本调整
neuzhangno的博客
05-10 1523
除了在 RocksDB 上使用基本操作编写代码外，您可能还对如何调整 RocksDB 以实现所需的性能感兴趣。在本页中，我们将介绍如何进行初始设置，该设置应该足以满足许多用例的需求。RocksDB 有许多配置选项，但其中大多数可以被许多用户安全地忽略，因为它们中的大多数都是为了影响非常特定的工作负载的性能。对于一般用途，大多数 RocksDB 选项可以保留为默认值，但是，我们建议在下面使用一些选项，每个用户都可能希望尝试使用常规工作负载。
RocksDB参数调优
qq_42828391的博客
06-30 1346
前言 RocksDB 是基于LSM的树存储引擎，可调参的有上百个，并且参数之间还有相互的影响，另外根据RUM猜想，读放大、写放大以及空间放大之间是制约关系，生产环境下需在三种放大因子之间进行权衡，这更增加了调优的难度。 架构图 RUM猜想 猜想指的是在 Read Overhead，Update Overhead 和 Memory (or Storage) Overhead 中，同时优化 2 项时需要以剩余的 1 项劣化作为代价 关键指标 调优需要关注的关键指标： 磁盘写带宽：Compaction的压力超
Rocksdb的优劣及应用场景分析
一缕阳光的博客
01-16 1403
Rocksdb的优劣及应用场景分析 Rocksdb也是一样，也有它的优势劣势及特定的适用场景。今天我就从设计的角度来分析一下。 基础架构 上图就是Rocksdb的基础架构。Rocksdb中引入了ColumnFamily(列族, CF)的概念，所谓列族也就是一系列kv组成的数据集。所有的读写操作都需要先指定列族。写操作先写WAL，再写memtable，memtable...
关于 Rocksdb 性能分析 需要知道的一些“小技巧“ -- perf_context的“内功” ，systemtap、perf、 ftrace的颜值
天行健，地势坤
08-21 5027
rocksdb 应用中的性能分析小工具：1. rocksdb 内部perf_context , statistics 2. systemtap、perf (on-cpu, off cpu火焰图, probe 子功能等)、 ftrace
Rocksdb 日志分析工具 -- 性能和稳定性分析
天行健，地势坤
03-05 2577
Rocksdb 日志分析工具 ： 分析LOG日志中出现的性能和稳定性问题，并给出优化建议。 手把手教你发布自己的python package，为全球开发者使用。
rocksdb的删除操作
neuzhangno的博客
05-10 1021
它会删除密钥的最新版本，并且密钥的旧版本是否会恢复正常尚未定义。
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值