rocksdb

最新推荐文章于 2025-07-26 00:45:58 发布
最新推荐文章于 2025-07-26 00:45:58 发布
阅读量3.3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bengdan129/article/details/19491095
本文详细分析了RocksDB在不同参数配置下的性能表现，包括网络吞吐量与磁盘写入量的关系、初始化参数的重要性、多线程写入效率以及大数量条目DB的启动时自检时间。通过调整关键参数，如初始化文件数、cache及队列大小，以及优化压缩线程的运行策略，实现了显著的性能提升。同时，针对并发写入场景，探讨了如何通过合理的参数设置来平衡读写性能，最终在特定硬件环境下（如Dell T5600服务器）实现更高效的数据库操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. key随机插入导致rocksdb有较大的写放大。 6MB的网络吞吐量，50+MB的磁盘写入。（原因待查）

    改为顺序插入，6MB的网络吞吐量，10-20+的磁盘写入。

 

2. 初始化传参很重要，文件数、cache及队列大小等。（细节待总结）

 

3. 多线程写入效率待查。

 

4.大数量条目的DB，启动时自检时间较长。第一次重启时，10,000,000需要10s,，50,000,000需要2min，100，000，000需要1小时。

 

=====================================================

 

1、初始化参数： class Options（负责数据存储的组织）,  class Env/PosixEnv（负责文件操作的调度）。db_bench的参考意义很大。

level0_file_num_compaction_trigger   4
level0_slowdown_writes_trigger       16(-1)
level0_stop_writes_trigger           64


target_file_size_base  64M
target_file_size_multiplier 1

max_bytes_for_level_base 512M
max_bytes_for_level_multiplier 10

disableDataSync    load数据时候用

max_background_compactions 20
max_write_buffer_number   3
rate_limit_delay_max_milliseconds 1000

arena_block_size  write_buffer_size / 10
write_buffer_size   128M

open_files    500000
block_cache_size  16G 初始化时指定的

delete_obsolete_files_period_micros 300s


*******************************
statistics
stats_interval
stats_per_interval

 

 

***********************************
min_level_to_compress
merge_operator
mmap_read
mmap_write
sync (maybe write option)
table_cache_numshardbits
use_fsync
use_multiget
max_background_flushes

//write-ahead logs (WAL)
wal_size_limit_MB
wal_ttl_seconds
disable_seek_compaction  //TODO
disable_wal

block_cache
block_cache_compressed

compression_level
compression_ratio

CompactionOptionsUniversal=======
universal_compression_size_percent
universal_max_merge_width
universal_max_size_amplification_percent
universal_min_merge_width
universal_size_ratio

table_cache_numshardbits 4
min_write_buffer_number_to_merge （1 default？？？？）

use_adaptive_mutex (false default。节省系统和用户切换)

max_bytes_for_level_multiplier_additional  1（向量）

hard_rate_limit   0.0
soft_rate_limit   0.0

********************************************
db_bench*********************************
histogram
memtablerep
statistics
threads

num
numdistinct
read_range
readonly
reads
readwritepercent
use_existing_db
value_size
warn_missing_keys
writes
writes_per_second

 

2、get对压缩线程的运行很敏感，性能抖动很大。但是压缩线程是必须的，负责维持level的平衡。

3、读写性能的平衡难于把握。目前的配置下read:update:  50:50, 25000ops,  95:5, 30000ops
 

Dell T5600

CPU: Intel(R) Xeon(R) CPU E5-2650 @ 2.00GHz/8 cores

RAM: 64GB

OS: CentOS 6.4

 
 write_threads: 1
 read_threads: 8

# in GB
 cache_size: 48
 # in KB
 block_size: 32
 # in MB
 write_buffer_size: 128
 # yes|no
 compression: yes
 # default 200
 max_open_files: 5000
 # in MB
 target_file_size_base: 64
 # in MB
 max_bytes_for_level_base: 512
 # yes|no
 disableDataSync: no
 #Speed strategy
 level0_file_num_compaction_trigger: 4
 level0_slowdown_writes_trigger: 16
 level0_stop_writes_trigger: 64
 #just for bulk loading data: yes|no
 disableDataSync:  no
 max_background_compactions: 8
 max_write_buffer_number: 8
 rate_limit_delay_max_milliseconds: 1000
 # in KB, write_buffer_size / 10
 arena_block_size: 12800
 # in second
 delete_obsolete_files_period_micros: 300

 

tottisay
关注
【Flink】Flink RocksDB内存占用一直增大 state.backend.rocksdb.memory.managed
九师兄
11-11 3131
1.概述 有人遇到过RocksDB内存占用一直增大的情况吗？flink-1.13.1 版本 为什么要关掉托管内存？ iterator读并发比较高的场景，会锁定内存中的数据。关掉托管空出多点内存空间，是比较粗暴的处理方式，但很有效。有性能方面的问题再去调整rocksdb配置 如果开启rocksdb statebackend ，并且没有打开增量就会有这个问题。 配置为 state.backend.rocksdb.memory.managed ...
Flink RocksDB内存占用不断增加的问题及其解决方法
DevEnigma的博客
08-15 1345
本文介绍了在使用 Flink 和 RocksDB 处理大数据时，可能遇到的内存占用不断增加的问题。然而，当处理大量数据时，我们可能会遇到 RocksDB 内存占用持续增长的问题。本文将介绍这个问题的背景，并提供相应的源代码示例，以解决该问题。当使用 RocksDB 作为 Flink 的状态后端时，用户可能会观察到任务的内存占用率不断增加，最终导致内存耗尽和任务失败。当写入和读取大量数据时，这两个组件会占用大量内存，导致内存占用率不断增加。Flink RocksDB内存占用不断增加的问题及其解决方法。
RocksDB 详解
最新发布
gorgor在码农
07-26 705
RocksDB是由Facebook基于Google LevelDB开发的高性能KV存储引擎，采用LSM-Tree结构，具有出色的读写性能（随机读取峰值19万次/秒）。虽然不直接用于业务系统，但已成为CockroachDB、TiDB、MongoDB等数据库的底层存储引擎。其核心设计包括MemTable、WAL日志和多层SST文件，通过Compaction策略实现数据分层存储。文章提供了Java操作示例，展示了基本CRUD功能，并对比了RocksDB与其他存储引擎的性能优势。RocksDB凭借高性能和事务支持能
深入实践：在Go中高效使用RocksDB的指南
weixin_48791852的博客
07-05 983
本文介绍了如何在Go项目中集成高性能KV存储引擎RocksDB。通过grocksdb的CGO封装，Go开发者可以调用RocksDB的强大功能。文章详细演示了从环境配置、编译安装到基础CRUD操作的完整流程，包括动态库编译、依赖安装和Go程序编译运行的关键步骤。重点讲解了生产环境的最佳实践，如内存管理、备份恢复和性能监控。尽管RocksDB没有纯Go实现，但其高吞吐、低延迟的特性使其成为处理海量数据的理想选择，grocksdb库的持续维护为Go开发者提供了便捷的集成方案。
RocksDB 写入流程详解
maoreyou的博客
01-30 4608
摘要： 最初的写入流程，继承自 leveldb，多个 写线程组成一个 group， leader 负责 group 的 WAL 及 memtable 的提交，提交完后唤醒所有的 follwer，向上层返回。 支持 allow_concurrent_memtable_write 选项，在1的基础上，leader 提交完 WAL 后，group 里所有线程并发写 memtable。点此查看原文最初的写...
RocksDB db_bench源码(一)：random下单个thread的key生成方式与写入
weixin_46322986的博客
11-29 886
本文深入 RocksDB db_bench 源码，分析单个线程中 key 的随机分布问题与写入流程。
rocksdb减少空间放大
程序猿的樊笼
07-30 1143
下面这几种方法只能尽量减少空间放大，不能完全减少。rocksdb leveled压缩文档：https://github.com/facebook/rocksdb/wiki/Leveled-Compaction。
Ubuntu下安装RocksDBUbuntu下安装RocksDB
10-16
在Ubuntu系统上安装RocksDB是一项常见的任务，尤其对于那些从事C++开发或者需要高性能、持久化存储解决方案的用户来说。RocksDB是由Facebook开源的一个轻量级、嵌入式键值对数据库，广泛应用于大数据处理、日志存储...
rocksdb-7.10.2.tar.gz
03-16
这个名为"rocksdb-7.10.2.tar.gz"的压缩包包含了RocksDB的源代码版本7.10.2，是开发者进行定制化开发或者深入理解RocksDB内部工作原理的重要资源。在本文中，我们将详细探讨RocksDB的一些核心特性、工作原理以及如何...
rocksdb-sharp：facebook的rocksdb的.net绑定
02-05
Rocksdb-Sharp RocksDb for C＃ RocksDB是具有日志结构合并设计的键值数据库，针对闪存和RAM存储进行了优化，可以对其进行调整以平衡写入，读取和空间放大因素。 RocksDB由Facebook开发，基于LevelDB。 有关Rocks...
rocksdb:纯C ++ Node.js RocksDB绑定。 符合abstract-leveldown的商店
04-28
Rocksdb 一个低级的Node.js RocksDB绑定。 符合商店。 目录 点击展开 贡献 Git子模块 出版 捐 支持者 赞助商 执照 介绍 此模块紧随leveldown并实现相同的API。 不同之处在于， leveldown是LevelDB的绑定，而rocks...
rust-rocksdb — RocksDB绑定-Rust开发
05-27
rust-rocksdb要求Clang和LLVM供稿欢迎反馈和请求请求！ 如果RocksDB的特定功能对您很重要，则欢迎rust-rocksdb要求Clang和LLVM贡献反馈和请求请求！ 如果RocksDB的特定功能对您很重要，请打开一个问题让我知道，我将...
rocksdb写放大_谈谈 RocksDB 参数调优
weixin_39647458的博客
12-22 968
背景RocksDB是由Fackbook公司开源的一款性能很高的Key Value存储引擎，有很多项目包括58存储团队的分布式KV存储产品WTable都使用它作为存储引擎。但是RocksDB参数调优也极其复杂，若希望RocksDB在不同机器、不同的应用场景发挥良好的性能，并不是一个简单的事情。绝大多数时候在一台机器或者一个集群中调整的参数，在另一个机器或集群中性能可能会不行。在RocksDB官网中，...
RocksDB增量模式下持续增长的checkpoint大小问题及解决方案
PixelInk的博客
08-25 448
然而，有时候在增量模式下，我们可能会遇到checkpoint大小持续增长的问题。在使用RocksDB的增量模式时，如果checkpoint的大小持续增长，可能会导致磁盘空间消耗过快和故障恢复时间变长。当使用RocksDB的增量模式进行写入操作时，每次写入都会生成一个新的checkpoint。通过将多个写入操作添加到批量写入中，可以减少生成的checkpoint数量，从而减小了checkpoint的大小。在实际应用中，我们可以根据需要定期执行合并操作，以控制checkpoint的大小。
eclipse占用内存过大_万字详文：Java内存泄漏、性能优化、宕机死锁的N种姿势
weixin_39800990的博客
11-25 814
导读本文介绍Java诸多优化实例：第一，排查堆上、堆外内存泄露；第二，使用arthas、jaeger、tcpdump、jstack做性能优化；第三，排查进程异常退出的原因，如被杀、System.exit、Java调用的C++发生Crash、Java内Crash；第四，排查死锁的原因，如log4j死锁、封装不严谨导致的死锁内存泄漏内存泄露在C++里排查很简单，用钩子函数勾住内存分配和释放函数mall...
rocksdb配置参数
qq_23929673的博客
01-27 4296
配置参数： 参数含义 附加说明 [DBOptions] new_table_reader_for_compaction_inputs=false recycle_log_file_num=0 avoid_flush_during_shutdown=false skip_stats_update_on_db_open=false use_dir...
Flink RocksDB内存消耗：如何有效应对State Backend RocksDB内存管理的挑战
JieLun_C的博客
09-04 671
通过配置RocksDB的内存管理参数，我们可以限制写缓存的大小，从而控制内存消耗。我们提供了相应的源代码示例，展示了如何在Flink作业中配置RocksDB的内存管理。然而，使用RocksDB时，我们可能会面临内存消耗不断增长的问题。然而，默认情况下，RocksDB的写缓存大小是不受限制的，这可能导致内存占用不断增长。为了有效地管理RocksDB的内存消耗，我们可以通过配置相应的参数来限制写缓存的大小。时，Flink将会自动管理RocksDB的内存使用，限制写缓存的大小。时，我们需要手动配置写缓存的大小。
Flink on RocksDB 参数调优指南
qq_38363255的博客
01-29 1170
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写...
RocksDB参数调优
07-15 3371
本文主要研究基于不同参数的调优，来展示对性能的影响，以供读者参考，提供优化的思路和方向。
Rocks db
06-28
RocksDB 是一个高效的嵌入式键值存储引擎，广泛用于需要高性能读写操作的场景。它最初由 Facebook 开发，基于 Google 的 LevelDB 项目，并进行了大量优化以支持现代硬件环境，特别是 SSD 存储介质。 ### 功能特性 RocksDB 提供了丰富的功能，包括但不限于： - **多线程压缩**：通过并行处理 SST 文件的压缩任务来提高吞吐量。 - **内存管理**：提供了多种机制来控制内存使用，比如 block cache 和 memtable 的大小调整。 - **快照与事务**：支持快照隔离级别的一致性视图和 ACID 事务[^3]。 - **列族（Column Families）**：允许将数据逻辑上划分为不同的列族，每个列族可以独立配置选项，这为不同类型的数据显示了灵活性[^3]。 ### 使用教程 要开始使用 RocksDB，首先需要安装库文件。对于 C++ 开发者来说，可以通过源码编译安装或者利用包管理器进行安装。Python 用户则可以借助 `python-rocksdb` 这样的第三方模块。 以下是一个简单的 RocksDB 数据库创建和基本操作的例子： ```cpp #include <rocksdb/db.h> #include <rocksdb/options.h> int main() { rocksdb::DB* db; rocksdb::Options options; // Optimize RocksDB. This is important for performance. options.IncreaseParallelism(); options.OptimizeLevelStyleCompaction(); // create the DB if it's not already present options.create_if_missing = true; // open DB rocksdb::Status status = rocksdb::DB::Open(options, "/tmp/testdb", &db); assert(status.ok()); // put key-value status = db->Put(rocksdb::WriteOptions(), "key1", "value"); assert(status.ok()); std::string value; // get value status = db->Get(rocksdb::ReadOptions(), "key1", &value); assert(status.ok()); assert(value == "value"); // delete database object before exit delete db; return 0; } ``` ### 性能优化 为了获得最佳性能，对 RocksDB 的参数进行调优是必要的。例如，调整内存相关的设置如 `write_buffer_size` 和 `max_write_buffer_number` 可以影响写入性能；而 `block_cache_size` 则会影响读取速度。此外，还可以根据工作负载的特点选择合适的压缩算法和策略。 在 Flink 中使用 RocksDB 作为状态后端时，可以通过修改配置文件中的参数来进行调优，比如增加 `state.backend.rocksdb.memory.managed` 设置为 `true` 来启用托管内存模式，从而让 Flink 更好地管理和限制 RocksDB 的内存占用[^2]。 ### 应用场景 RocksDB 被设计成可以在各种环境中高效运行，尤其是在那些要求低延迟、高吞吐量以及大规模数据集的情况下。典型的应用场景包括： - **分布式数据库系统**：如 TiKV 和其他分布式数据库系统采用 RocksDB 作为底层存储引擎，因为其出色的性能表现和对 LSM-Tree 结构的支持。 - **实时数据分析平台**：Apache Flink 等流处理框架中，RocksDB 常被用作状态后端，因为它能够很好地处理连续不断的数据流带来的状态更新需求[^1]。 - **缓存服务**：由于 RocksDB 支持快速查找且具有良好的压缩特性，因此也非常适合用来构建本地缓存解决方案。 以上只是关于 RocksDB 的简要介绍及其一些核心方面的概述。实际应用中可能还需要深入理解具体的业务需求和技术细节才能充分发挥 RocksDB 的潜力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值