rocksdb配置参数

最新推荐文章于 2024-09-30 13:40:38 发布

勤学-365

最新推荐文章于 2024-09-30 13:40:38 发布

阅读量4.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： ceph核心理论

本文链接：https://blog.youkuaiyun.com/qq_23929673/article/details/96507146

本文深入探讨了RocksDB的配置参数，包括内存管理、写入优化、读取性能和压缩策略等方面，旨在帮助读者理解和调整RocksDB以适应不同应用场景的需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
   配置参数： 
   参数含义 
   附加说明 
  
   [DBOptions] 
    
   new_table_reader_for_compaction_inputs=false 
    
   recycle_log_file_num=0 
    
   avoid_flush_during_shutdown=false 
    
   skip_stats_update_on_db_open=false 
    
   use_direct_io_for_flush_and_compaction=false 
    
   access_hint_on_compaction_start=NORMAL 
    
   allow_fallocate=true 
    
   fail_if_options_file_error=false 
    
   create_if_missing=false 
    
   max_manifest_file_size=18446744073709551615 
    
   write_thread_slow_yield_usec=3 
    
   delayed_write_rate=16777216 
    
   create_missing_column_families=false 
    
   error_if_exists=false 
    
   allow_concurrent_memtable_write=true 
    
   db_log_dir= 
    
   paranoid_checks=true 
    
   skip_log_error_on_recovery=false 
    
   compaction_readahead_size=0 
    
   allow_2pc=false 
    
   writable_file_max_buffer_size=1048576 
    
   enable_thread_tracking=false 
    
   delete_obsolete_files_period_micros=21600000000 
    
   random_access_max_buffer_size=1048576 
    
   allow_mmap_reads=false 
    
   allow_mmap

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

勤学-365

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HugeGraph后端存储使用RocksDB时的参数配置

penriver的博客

06-03

992

本文针对HugeGraph后端存储使用RocksDB时的参数配置进行梳理. HugeGraph的版本是0.11.2， RocksDB的参数配置在com.baidu.hugegraph.backend.store.rocksdb.RocksDBOptions中配置，共有47个参数（RocksDB的参数真是多呀），重点的参数已经标蓝色，具体如下：如果想调整配置，请修改xxxgraph.properties如huegraph.properties的配置文件，默认情况下，只提供了如下2个配置项： # r

Ceph入门到精通-Ceph分布式存储解决方案汇总

隔壁老瓦的专栏

05-12

4115

注：针 IOPS 密集型场景，由于使用选择SSD与HDD混合硬件方案，硬件成本会降低，但是性能上由于是混合硬盘方案，bluestore带来的性能优化特性可能不会很明显，还需要考虑混合架构的优化。注：针 IOPS 密集型场景，全部基于SSD进行构建，保证性能最优的同时并充分发挥bluestore针对于SSD的特性优化，而且利于部署和后期集群的维护，且有效降低运维的难度。osd数据分区Ceph osd节点的密度也是影响集群性能、可用容量和TCO的一个重要因素，一般来说大量的小容量量节点比少量的大容量节点要好。

参与评论您还未登录，请先登录后发表或查看评论

如何在 Flink 中规划 RocksDB 内存容量？

阿里云云栖号

03-27

1833

本文描述了一些配置选项，这些选项将帮助您有效地管理规划 Apache Flink 中 RocksDB state backend 的内存大小。在前面的文章[1]中，我们描述了 Flink 中支持的可选 state backend 选项，本文将介绍跟 Flink 相关的一些 RocksDB 操作，并讨论一些提高资源利用率的重要配置。 Tips：从 Flink 1.10 开始，Flink 自动管理 ...

rocksdb

bengdan129的专栏

02-19

3350

1. key随机插入导致rocksdb有较大的写放大。 6MB的网络吞吐量，50+MB的磁盘写入。（原因待查）改为顺序插入，6MB的网络吞吐量，10-20+的磁盘写入。 2. 初始化传参很重要，文件数、cache及队列大小等。（细节待总结） 3. 多线程写入效率待查。 4.大数量条目的DB，启动时自检时间较长。第一次重启时，10,000,000需要10s,，50

分布式专题 - Rocksdb

liqingbing12的专栏

11-06

2304

1.RocksDB 简介 RocksDB 是由 Facebook 基于 LevelDB 开发的一款提供键值存储与读写功能的数据库软件，旨在充分实现快存上存储数据的服务能力。 RocksDB是一个c++库，可以用来存储keys和values，且keys和values可以是任意的字节流，支持原子的读和写； RocksDB是一个基于LSM-Tree 存储引擎实现的数据库架构，LSM 通过将磁盘的随机写转化为顺序写来提高写性能，而付出的代价就是牺牲部分读性能、写放大； RocksDB 所有的数据在引.

rocksdb的删除操作

neuzhangno的博客

05-10

925

它会删除密钥的最新版本，并且密钥的旧版本是否会恢复正常尚未定义。

rocksdb的基本操作

neuzhangno的博客

05-10

1530

基本操作该库提供持久性键值存储。键和值是任意字节数组。键根据用户指定的比较器功能在键值存储中排序。rocksdb 打开数据库数据库具有与文件系统目录相对应的名称。数据库的所有内容都存储在此目录中。下面的示例演示如何打开数据库，并在必要时创建数据库：rocksdb #include <cassert> #include "rocksdb/db.h" rocksdb::DB* db; rocksdb::Options options; options.create_if_m

rocksdb-7.10.2.tar.gz

03-16

- **配置调优**：RocksDB有许多可配置参数，如缓存大小、compaction策略等，根据应用场景进行优化是关键。 4. **应用场景** - **数据库存储引擎**：许多数据库系统如TiKV、CockroachDB等，都选择了RocksDB作为其...

RocksDB调优指南.docx

10-31

《RocksDB调优指南》提供了深入的洞察力，帮助用户根据特定的工作负载和系统配置优化RocksDB的性能。RocksDB是一个高度灵活的键值存储系统，它被广泛应用于各种存储场景，包括内存、SSD和HDD。然而，这种灵活性也...

RocksDB参数调优

07-15

3353

本文主要研究基于不同参数的调优，来展示对性能的影响，以供读者参考，提供优化的思路和方向。

RocksDB安装及基本接口使用的初学者指南

Lion_Long的博客

04-18

7193

RocksDB 是 Facebook 的一个实验项目，目的是希望能开发一套能在服务器压力下，真正发挥高速存储硬件性能的高效数据库系统。RocksDB是一个存储引擎，不提供网络服务，只专注于具体的存储。这是一个 C++ 库，允许存储任意长度二进制 KV 数据。支持原子读写操作。RocksDB 依靠大量灵活的配置，使之能针对不同的生产环境进行调优，包括直接使用内存，使用 Flash，使用硬盘或者 HDFS。支持使用不同的压缩算法，并且有一套完整的工具供生产和调试使用。

mysql 两个时间相差大于24小时的数据_为什么我们要从 MySQL 迁移到 TiDB？

weixin_39630247的博客

11-20

330

本文转载自公众号 51CTO技术栈。作者介绍：贺磊，360 数据库运维资深工程师，《MongoDB 运维实战作者》，知名论坛 MySQL 版主，51CTO 博客之星，闲暇之余，喜欢将部分案例写成博客，累计访问量过百万。我先说几个最让你兴奋和开心的点吧：在 TiDB 里，你完全不用担心磁盘容量的问题。在 TiDB 里，原生支持 Online DDL，你完全不用担心第三方改表工具改表出现各种 B...

RocksDB笔记 -- Options File

风中尘埃的博客

05-28

921

rocksdb; options file;

TIDB 优化--TiKV 性能参数调优

DBASpace的博客

03-31

8132

TiKV 最底层使用的是 RocksDB 做为持久化存储，所以 TiKV 的很多性能相关的参数都是与 RocksDB 相关的。TiKV 使用了两个 RocksDB 实例，默认 RocksDB 实例存储 KV 数据，Raft RocksDB 实例（简称 RaftDB）存储 Raft 数据。TiKV 使用了 RocksDB 的 Column Falimies 特性。默认 RocksDB 实例将 KV ...

Ceph RocksDB 深度调优

大隐隐于野

09-30

1422

调优 Ceph 可能是一项艰巨的挑战。在 Ceph、RocksDB 和 Linux 内核之间，实际上有数以千计的选项可以进行调整以提高存储性能和效率。由于涉及的复杂性，比较优的配置通常分散在博客文章或邮件列表中，但是往往都没有说明这些设置的实际作用或您可能想要使用或避免使用它们的原因。这种现象的一个特别常见的例子是调优 Ceph 的 BlueStore RocksDB。本文档将尝试解释这些选项的实际作用以及您可能想要调整它们或保持它们默认值的原因。

RocksDB重要参数索引

04-05

1852

Block配置 #block级别的cache=size，类似于innodb=的buffer=pool ...

TiKV RocksDB读写原理整理

TiDB 社区干货传送门

02-09

545

作者：苏州刘三枪原文来源： https://tidb.net/blog/614b0fe3 ...

使用db_bench 对rocksdb进行性能压测

最新发布

06-28

RocksDB 是一个高效的嵌入式键值存储引擎，广泛用于需要高性能读写操作的场景。它最初由 Facebook 开发，基于 Google 的 LevelDB 项目，并进行了大量优化以支持现代硬件环境，特别是 SSD 存储介质。 ### 功能特性 RocksDB 提供了丰富的功能，包括但不限于： - **多线程压缩**：通过并行处理 SST 文件的压缩任务来提高吞吐量。 - **内存管理**：提供了多种机制来控制内存使用，比如 block cache 和 memtable 的大小调整。 - **快照与事务**：支持快照隔离级别的一致性视图和 ACID 事务[^3]。 - **列族（Column Families）**：允许将数据逻辑上划分为不同的列族，每个列族可以独立配置选项，这为不同类型的数据显示了灵活性[^3]。 ### 使用教程要开始使用 RocksDB，首先需要安装库文件。对于 C++ 开发者来说，可以通过源码编译安装或者利用包管理器进行安装。Python 用户则可以借助 `python-rocksdb` 这样的第三方模块。以下是一个简单的 RocksDB 数据库创建和基本操作的例子： ```cpp #include <rocksdb/db.h> #include <rocksdb/options.h> int main() { rocksdb::DB* db; rocksdb::Options options; // Optimize RocksDB. This is important for performance. options.IncreaseParallelism(); options.OptimizeLevelStyleCompaction(); // create the DB if it's not already present options.create_if_missing = true; // open DB rocksdb::Status status = rocksdb::DB::Open(options, "/tmp/testdb", &db); assert(status.ok()); // put key-value status = db->Put(rocksdb::WriteOptions(), "key1", "value"); assert(status.ok()); std::string value; // get value status = db->Get(rocksdb::ReadOptions(), "key1", &value); assert(status.ok()); assert(value == "value"); // delete database object before exit delete db; return 0; } ``` ### 性能优化为了获得最佳性能，对 RocksDB 的参数进行调优是必要的。例如，调整内存相关的设置如 `write_buffer_size` 和 `max_write_buffer_number` 可以影响写入性能；而 `block_cache_size` 则会影响读取速度。此外，还可以根据工作负载的特点选择合适的压缩算法和策略。在 Flink 中使用 RocksDB 作为状态后端时，可以通过修改配置文件中的参数来进行调优，比如增加 `state.backend.rocksdb.memory.managed` 设置为 `true` 来启用托管内存模式，从而让 Flink 更好地管理和限制 RocksDB 的内存占用[^2]。 ### 应用场景 RocksDB 被设计成可以在各种环境中高效运行，尤其是在那些要求低延迟、高吞吐量以及大规模数据集的情况下。典型的应用场景包括： - **分布式数据库系统**：如 TiKV 和其他分布式数据库系统采用 RocksDB 作为底层存储引擎，因为其出色的性能表现和对 LSM-Tree 结构的支持。 - **实时数据分析平台**：Apache Flink 等流处理框架中，RocksDB 常被用作状态后端，因为它能够很好地处理连续不断的数据流带来的状态更新需求[^1]。 - **缓存服务**：由于 RocksDB 支持快速查找且具有良好的压缩特性，因此也非常适合用来构建本地缓存解决方案。以上只是关于 RocksDB 的简要介绍及其一些核心方面的概述。实际应用中可能还需要深入理解具体的业务需求和技术细节才能充分发挥 RocksDB 的潜力。

配置参数：	参数含义	附加说明
[DBOptions]
new_table_reader_for_compaction_inputs=false
recycle_log_file_num=0
avoid_flush_during_shutdown=false
skip_stats_update_on_db_open=false
use_direct_io_for_flush_and_compaction=false
access_hint_on_compaction_start=NORMAL
allow_fallocate=true
fail_if_options_file_error=false
create_if_missing=false
max_manifest_file_size=18446744073709551615
write_thread_slow_yield_usec=3
delayed_write_rate=16777216
create_missing_column_families=false
error_if_exists=false
allow_concurrent_memtable_write=true
db_log_dir=
paranoid_checks=true
skip_log_error_on_recovery=false
compaction_readahead_size=0
allow_2pc=false
writable_file_max_buffer_size=1048576
enable_thread_tracking=false
delete_obsolete_files_period_micros=21600000000
random_access_max_buffer_size=1048576
allow_mmap_reads=false
allow_mmap