rockdb 原理

本文介绍了RocksDB的基本原理,包括其内存管理、数据持久化和压缩过程。详细阐述了Compaction机制,特别是Level-0和Level-1+的触发条件。在Flink中,RocksDB用于增量checkpoint,当进行merge操作时,会更新HDFS上的文件。此外,文章讨论了如何配置并行Compact以提高效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.结论

(1)rocksdb根据分层触发条件触发compaction操作
(2)rocksdb 做merge后,会根据原来的sst数据文件合成新的sst,然后在checkpoint的时候,生成新的hdfs文件,删除旧sst hdfs数据文件(注:这里的rocksdb merge 和checkpoint 是两个独立的线程)

2.基础介绍

重要概念:
(1)active memtable: write append
(2)immutable memtable: read-only
(3)sst:磁盘存储

3.原理解析

(1)数据先写到memtable,当超过write_buffer_size大小后,就会将active memtable改为read only,然后重新开启一个active memtable 供新数据写入
(2)这里的memtable有两个参数,一个为:
min_write_buffer_to_merge: 默认值为1,及imutable_memtable 数量超过1后,即会触发flush操作,即写sst,落到磁盘(level 0)
max_write_buffer_to_merge: immutabl_memtable的最大数量,超过最大数量后,roksdb将发生严重错误,会停止数据写入功能
(3)marjor compactor:
各层有各自的merge触发条件:
level 0的触发条件为,文件的数量;level 1+ 层的触发条件为,该层的文件大小超过了该层允许的最大文件大小

rocksdb有单独的调度merge程序,原则就是根据各个层来计算score,及权重,score值越大,即优先处理merge

level0 compation操作:

  • 每当触发了level0 的merge条件,即会将所有的level0 文件进行统一的merge;为什么要把level 0中所有的文件进行合并了,是因为level 0 中文件的key是有
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值