1.结论
(1)rocksdb根据分层触发条件触发compaction操作
(2)rocksdb 做merge后,会根据原来的sst数据文件合成新的sst,然后在checkpoint的时候,生成新的hdfs文件,删除旧sst hdfs数据文件(注:这里的rocksdb merge 和checkpoint 是两个独立的线程)
2.基础介绍
重要概念:
(1)active memtable: write append
(2)immutable memtable: read-only
(3)sst:磁盘存储
3.原理解析
(1)数据先写到memtable,当超过write_buffer_size大小后,就会将active memtable改为read only,然后重新开启一个active memtable 供新数据写入
(2)这里的memtable有两个参数,一个为:
min_write_buffer_to_merge: 默认值为1,及imutable_memtable 数量超过1后,即会触发flush操作,即写sst,落到磁盘(level 0)
max_write_buffer_to_merge: immutabl_memtable的最大数量,超过最大数量后,roksdb将发生严重错误,会停止数据写入功能
(3)marjor compactor:
各层有各自的merge触发条件:
level 0的触发条件为,文件的数量;level 1+ 层的触发条件为,该层的文件大小超过了该层允许的最大文件大小
rocksdb有单独的调度merge程序,原则就是根据各个层来计算score,及权重,score值越大,即优先处理merge
level0 compation操作:
- 每当触发了level0 的merge条件,即会将所有的level0 文件进行统一的merge;为什么要把level 0中所有的文件进行合并了,是因为level 0 中文件的key是有