rocksdb配置参数

最新推荐文章于 2023-05-28 02:23:56 发布

原创

最新推荐文章于 2023-05-28 02:23:56 发布 · 4.2k 阅读

1 ·

CC 4.0 BY-SA版权

本文深入探讨了RocksDB的配置参数，包括内存管理、写入优化、读取性能和压缩策略等方面，旨在帮助读者理解和调整RocksDB以适应不同应用场景的需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
   配置参数： 
   参数含义 
   附加说明 
  
   [DBOptions] 
    
   new_table_reader_for_compaction_inputs=false 
    
   recycle_log_file_num=0 
    
   avoid_flush_during_shutdown=false 
    
   skip_stats_update_on_db_open=false 
    
   use_direct_io_for_flush_and_compaction=false 
    
   access_hint_on_compaction_start=NORMAL 
    
   allow_fallocate=true 
    
   fail_if_options_file_error=false 
    
   create_if_missing=false 
    
   max_manifest_file_size=18446744073709551615 
    
   write_thread_slow_yield_usec=3 
    
   delayed_write_rate=16777216 
    
   create_missing_column_families=false 
    
   error_if_exists=false 
    
   allow_concurrent_memtable_write=true 
    
   db_log_dir= 
    
   paranoid_checks=true 
    
   skip_log_error_on_recovery=false 
    
   compaction_readahead_size=0 
    
   allow_2pc=false 
    
   writable_file_max_buffer_size=1048576 
    
   enable_thread_tracking=false 
    
   delete_obsolete_files_period_micros=21600000000 
    
   random_access_max_buffer_size=1048576 
    
   allow_mmap_reads=false 
    
   allow_mmap

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

勤学-365

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HugeGraph后端存储使用RocksDB时的参数配置

penriver的博客

06-03

1000

本文针对HugeGraph后端存储使用RocksDB时的参数配置进行梳理. HugeGraph的版本是0.11.2， RocksDB的参数配置在com.baidu.hugegraph.backend.store.rocksdb.RocksDBOptions中配置，共有47个参数（RocksDB的参数真是多呀），重点的参数已经标蓝色，具体如下：如果想调整配置，请修改xxxgraph.properties如huegraph.properties的配置文件，默认情况下，只提供了如下2个配置项： # r

RocksDB参数调优

07-15

3374

本文主要研究基于不同参数的调优，来展示对性能的影响，以供读者参考，提供优化的思路和方向。

参与评论您还未登录，请先登录后发表或查看评论

如何在 Flink 中规划 RocksDB 内存容量？

阿里云云栖号

03-27

1837

本文描述了一些配置选项，这些选项将帮助您有效地管理规划 Apache Flink 中 RocksDB state backend 的内存大小。在前面的文章[1]中，我们描述了 Flink 中支持的可选 state backend 选项，本文将介绍跟 Flink 相关的一些 RocksDB 操作，并讨论一些提高资源利用率的重要配置。 Tips：从 Flink 1.10 开始，Flink 自动管理 ...

Rocksdb 利用recycle_log_file_num 重用wal-log文件

天行健，地势坤

04-01

977

减少操作系统文件inode/dentry 相关cache的更新

rocksdb

bengdan129的专栏

02-19

3360

1. key随机插入导致rocksdb有较大的写放大。 6MB的网络吞吐量，50+MB的磁盘写入。（原因待查）改为顺序插入，6MB的网络吞吐量，10-20+的磁盘写入。 2. 初始化传参很重要，文件数、cache及队列大小等。（细节待总结） 3. 多线程写入效率待查。 4.大数量条目的DB，启动时自检时间较长。第一次重启时，10,000,000需要10s,，50

RocksDB问题点解决及相关学习记录

心中的亚雷泽的博客

05-18

2757

RocksDB实际使用过程中，面对高并发环境，出现了数据存储阻塞的问题。 [场景介绍] 数据量/次：300多张表，每张表数据量为4K个Key-Value左右。下盘周期：60s一次。 [分析日志] RocksDB的日志，先后出现“Stall write”与“Stop write”相关错误日志；操作RocksDB的相关Java线程出现阻塞的情况。查找资料，网上的解释为：我们知道，当flush/compaction赶不上write rate的速度时，rockdb会降低write ra..

RocksDB（三）：WAL Learning

LANGYUEXIAN的博客

12-08

979

WAL主要的功能是当RocksDB异常退出后，能够恢复出错前的内存中(memtable)数据，因此RocksDB默认是每次用户写都会刷新数据到WAL。

rocksdb-7.10.2.tar.gz

03-16

- **配置调优**：RocksDB有许多可配置参数，如缓存大小、compaction策略等，根据应用场景进行优化是关键。 4. **应用场景** - **数据库存储引擎**：许多数据库系统如TiKV、CockroachDB等，都选择了RocksDB作为其...

RocksDB调优指南.docx

10-31

《RocksDB调优指南》提供了深入的洞察力，帮助用户根据特定的工作负载和系统配置优化RocksDB的性能。RocksDB是一个高度灵活的键值存储系统，它被广泛应用于各种存储场景，包括内存、SSD和HDD。然而，这种灵活性也...

RocksDB（四）：WAL Practice

LANGYUEXIAN的博客

12-08

714

在上一篇里已经完成了对于WAL的理论的学习，接下来让我们对于RocksDB中的WAL进行实际操作一番。

分布式专题 - Rocksdb

liqingbing12的专栏

11-06

2318

1.RocksDB 简介 RocksDB 是由 Facebook 基于 LevelDB 开发的一款提供键值存储与读写功能的数据库软件，旨在充分实现快存上存储数据的服务能力。 RocksDB是一个c++库，可以用来存储keys和values，且keys和values可以是任意的字节流，支持原子的读和写； RocksDB是一个基于LSM-Tree 存储引擎实现的数据库架构，LSM 通过将磁盘的随机写转化为顺序写来提高写性能，而付出的代价就是牺牲部分读性能、写放大； RocksDB 所有的数据在引.

RocksDB安装及基本接口使用的初学者指南

Lion_Long的博客

04-18

7251

RocksDB 是 Facebook 的一个实验项目，目的是希望能开发一套能在服务器压力下，真正发挥高速存储硬件性能的高效数据库系统。RocksDB是一个存储引擎，不提供网络服务，只专注于具体的存储。这是一个 C++ 库，允许存储任意长度二进制 KV 数据。支持原子读写操作。RocksDB 依靠大量灵活的配置，使之能针对不同的生产环境进行调优，包括直接使用内存，使用 Flash，使用硬盘或者 HDFS。支持使用不同的压缩算法，并且有一套完整的工具供生产和调试使用。

rocksdb的删除操作

neuzhangno的博客

05-10

935

它会删除密钥的最新版本，并且密钥的旧版本是否会恢复正常尚未定义。

rocksdb的基本操作

neuzhangno的博客

05-10

1555

基本操作该库提供持久性键值存储。键和值是任意字节数组。键根据用户指定的比较器功能在键值存储中排序。rocksdb 打开数据库数据库具有与文件系统目录相对应的名称。数据库的所有内容都存储在此目录中。下面的示例演示如何打开数据库，并在必要时创建数据库：rocksdb #include <cassert> #include "rocksdb/db.h" rocksdb::DB* db; rocksdb::Options options; options.create_if_m

RocksDB, 大数据量的去重实践记录

程序猿的樊笼

03-19

1008

RocksDB是 Facebook 开源的一个高性能、持久化、 KV 存储。数据存储采用的是一种叫做LSM-Tree（The Log-Structured Merge-Tree）的数据结果。

RocksDB 简介

junior77的专栏

12-08

1467

RocksDB是由 Facebook 基于 LevelDB 开发的一款提供键值存储与读写功能的 LSM-tree 架构引擎。用户写入的键值对会先写入磁盘上的 WAL (Write Ahead Log)，然后再写入内存中的跳表（SkipList，这部分结构又被称作 MemTable）。LSM-tree 引擎由于将用户的随机修改（插入）转化为了对 WAL 文件的顺序写，因此具有比 B 树类存储引擎更高的写吞吐。内存中的数据达到一定阈值后，会刷到磁盘上生成 SST 文件 (Sorted String Tab.

Rocksdb DeleteRange实现原理

天行健，地势坤

07-25

5213

`DeleteRange`接口的设计是为了代替传统的删除一个区间[start,end) 内的key-value的接口

mysql 两个时间相差大于24小时的数据_为什么我们要从 MySQL 迁移到 TiDB？

weixin_39630247的博客

11-20

333

本文转载自公众号 51CTO技术栈。作者介绍：贺磊，360 数据库运维资深工程师，《MongoDB 运维实战作者》，知名论坛 MySQL 版主，51CTO 博客之星，闲暇之余，喜欢将部分案例写成博客，累计访问量过百万。我先说几个最让你兴奋和开心的点吧：在 TiDB 里，你完全不用担心磁盘容量的问题。在 TiDB 里，原生支持 Online DDL，你完全不用担心第三方改表工具改表出现各种 B...

RocksDB笔记 -- Options File

风中尘埃的博客

05-28

934

rocksdb; options file;

Rocks db

最新发布

06-28

RocksDB 是一个高效的嵌入式键值存储引擎，广泛用于需要高性能读写操作的场景。它最初由 Facebook 开发，基于 Google 的 LevelDB 项目，并进行了大量优化以支持现代硬件环境，特别是 SSD 存储介质。 ### 功能特性 RocksDB 提供了丰富的功能，包括但不限于： - **多线程压缩**：通过并行处理 SST 文件的压缩任务来提高吞吐量。 - **内存管理**：提供了多种机制来控制内存使用，比如 block cache 和 memtable 的大小调整。 - **快照与事务**：支持快照隔离级别的一致性视图和 ACID 事务[^3]。 - **列族（Column Families）**：允许将数据逻辑上划分为不同的列族，每个列族可以独立配置选项，这为不同类型的数据显示了灵活性[^3]。 ### 使用教程要开始使用 RocksDB，首先需要安装库文件。对于 C++ 开发者来说，可以通过源码编译安装或者利用包管理器进行安装。Python 用户则可以借助 `python-rocksdb` 这样的第三方模块。以下是一个简单的 RocksDB 数据库创建和基本操作的例子： ```cpp #include <rocksdb/db.h> #include <rocksdb/options.h> int main() { rocksdb::DB* db; rocksdb::Options options; // Optimize RocksDB. This is important for performance. options.IncreaseParallelism(); options.OptimizeLevelStyleCompaction(); // create the DB if it's not already present options.create_if_missing = true; // open DB rocksdb::Status status = rocksdb::DB::Open(options, "/tmp/testdb", &db); assert(status.ok()); // put key-value status = db->Put(rocksdb::WriteOptions(), "key1", "value"); assert(status.ok()); std::string value; // get value status = db->Get(rocksdb::ReadOptions(), "key1", &value); assert(status.ok()); assert(value == "value"); // delete database object before exit delete db; return 0; } ``` ### 性能优化为了获得最佳性能，对 RocksDB 的参数进行调优是必要的。例如，调整内存相关的设置如 `write_buffer_size` 和 `max_write_buffer_number` 可以影响写入性能；而 `block_cache_size` 则会影响读取速度。此外，还可以根据工作负载的特点选择合适的压缩算法和策略。在 Flink 中使用 RocksDB 作为状态后端时，可以通过修改配置文件中的参数来进行调优，比如增加 `state.backend.rocksdb.memory.managed` 设置为 `true` 来启用托管内存模式，从而让 Flink 更好地管理和限制 RocksDB 的内存占用[^2]。 ### 应用场景 RocksDB 被设计成可以在各种环境中高效运行，尤其是在那些要求低延迟、高吞吐量以及大规模数据集的情况下。典型的应用场景包括： - **分布式数据库系统**：如 TiKV 和其他分布式数据库系统采用 RocksDB 作为底层存储引擎，因为其出色的性能表现和对 LSM-Tree 结构的支持。 - **实时数据分析平台**：Apache Flink 等流处理框架中，RocksDB 常被用作状态后端，因为它能够很好地处理连续不断的数据流带来的状态更新需求[^1]。 - **缓存服务**：由于 RocksDB 支持快速查找且具有良好的压缩特性，因此也非常适合用来构建本地缓存解决方案。以上只是关于 RocksDB 的简要介绍及其一些核心方面的概述。实际应用中可能还需要深入理解具体的业务需求和技术细节才能充分发挥 RocksDB 的潜力。

配置参数：	参数含义	附加说明
[DBOptions]
new_table_reader_for_compaction_inputs=false
recycle_log_file_num=0
avoid_flush_during_shutdown=false
skip_stats_update_on_db_open=false
use_direct_io_for_flush_and_compaction=false
access_hint_on_compaction_start=NORMAL
allow_fallocate=true
fail_if_options_file_error=false
create_if_missing=false
max_manifest_file_size=18446744073709551615
write_thread_slow_yield_usec=3
delayed_write_rate=16777216
create_missing_column_families=false
error_if_exists=false
allow_concurrent_memtable_write=true
db_log_dir=
paranoid_checks=true
skip_log_error_on_recovery=false
compaction_readahead_size=0
allow_2pc=false
writable_file_max_buffer_size=1048576
enable_thread_tracking=false
delete_obsolete_files_period_micros=21600000000
random_access_max_buffer_size=1048576
allow_mmap_reads=false
allow_mmap