wisckey论文阅读:在SSD场景中,将key于value分离

Wisckey是一种针对SSD优化的键值存储系统,通过将key存储在LSM树中,value存储在日志中,以减少写放大量并提升性能。与LevelDB相比,Wisckey利用SSD的随机读取优势,实现了低写放大、低读放大,并提供了一种并行范围查询和轻量级垃圾回收机制,同时确保崩溃一致性。设计目标包括优化SSD性能和提供丰富API。面对挑战,Wisckey通过特殊的数据结构和操作策略,如vlog队列,有效管理value日志和进行垃圾回收。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

摘要:基于持久化LSM树的kv存储,将key与value分离减少写放大

性能比起leveldb提升很大

1.introduction

键值存储在很多应用场景中,都越来越重要。

LSM结构比起B树,减少了很多随即写,变成顺序写,提升了性能。而LSM之所以这么成功,是因为与HDD的结合,HDD的顺序IO比起随机IO 快了1000倍。

但随着ssd的使用普及,对这种情况造成了一些变化。

本文思想,在传统LSM结构基础上改进,key,value分离。LSM中只存储key,value存放在日志中。

 

leveldb的多级sstable,使得对于大型数据库来说,一份数据从level0到level6要写7次。因为HDD随机io和顺序io性能差距了1000倍,只要写放大在1000倍以内,用LSM就是提升速度。

 

 

wisckey:

4个关键思想:

1.KV分离,key在LSM中,value在log中

2.对没排序的values,wisckey充分利用了ssd的随机read优势

3.独特的实现了crash一致性和垃圾回收技巧来有效的管理value log

4.wisckey去掉了LSM的log而没有牺牲一致性,优化了性能(减少小写的系统调用开销)。

设计目标:

低写放大,低读放大,SSD优化,特性丰富的api

 

挑战:

kv的分开要求range查询时,需要随机io,并且使得垃圾回收和crash一致性很有挑战。

并行range query:

在range query基本接口找到key时,将所有key加到一个队列中,多线程从中取任务,到SSD的vlog中取value,充分利用SSD的并行性。

垃圾回收:

leveldb的垃圾回收,在一开始删除一个entry时,不会清除,而是在之后compaction之后才会删除。

为了在wis

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值