读WiscKey: Separating Keys from Values in SSD-conscious Storage

原创 已于 2023-03-27 23:10:30 修改 · 443 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

于 2023-03-11 16:06:32 首次发布
论文提出了一种优化LSM-Tree的方法，通过key-value分离减少排序开销，并采用特定的GC策略减轻写放大问题。value存储在vlog中，搜索时先查LSM-Tree获取地址，再从vlog读取。GC仅在有效数据区间操作，提高效率。范围查找通过并行处理提升性能，但对资源消耗较大。写入时，数据缓存至一定量再一次性写入。

在我看来本论文的主要贡献在于相对减轻了传统LSM compact所带来的写放大问题。其核心设计在于使key、value分离以及gc只保持有效数据

key、value分离

作者对于key、value分离策略的观察主要来自于排序是以往LSM性能消耗最大的地方，但是真正影响排序的与占用大储存的value没有什么关系，那么能不能将key和value分开储存，那么就可以仅仅只排序key了呢

具体作者是将key和value所在的地方储存到LSM tree，而value就储存到vlog文件中。那么每次搜索数据的时候就可以先搜索LSM tree找到value的地址，然后在vlog文件中找到对应的值。

当然这和传统LSM充分利用顺序读取不一样，这是作者基于SSD的随机读写性能已经比较强的情况下作出的适应性改进

此外作者为了防止key可能丢失，还在vlog中储存了value的key

gc保持有效数据

gc维护了一个有效数据的区间，无论是搜索还是释放空间都是在这个区间中进行的。这样就免去了合并、排序的大量消耗性能的过程，并且还不需要刻意取出所有有效的key，然后对比对应的value是不是在，不在就删除这种重量级的gc

大概过程是gc从区间找到有效的数据然后添加到空间尾部，最后更新区间范围，那么在这个区间之外的就是无效数据了。这样的过程也难怪叫做gc，确实和标记—整理十分类似

并且为了防止gc过程中突然crash，作者还确保新添加的有效值和更新的区间指针持久化后才真正释放空间

范围查找

范围查找我认为是这篇论文的弱点所在，作者虽然是通过充分利用SSD并行度来解决只能取key然后一次次查找value，最后得到一个范围结果

在这里插入图片描述

但是从图中仍然可知即使32线程在1kb请求大小的时候，性能仍然非常低。并且即使32线程取得了不弱于传统LSM范围读取的性能，那这样对于并行资源的消耗也是相当巨大的

写入

  1. 追加value到vlog
  2. 插入key以及value地址到LSM tree

作者还在这个写入过程做了一个优化，就是缓存要写入的数据直到到达阈值才一次写入

Ref

  1. https://www.usenix.org/system/files/conference/fast16/fast16-papers-lu.pdf
【论文笔记】Pretraining with hierarchical memories: separating long-tail and common knowledge
心宝的博客
10-09 119
苹果最新研究《Pretraining with hierarchical memories: separating long-tail and common knowledge》提出了一种革命性架构，将知识从模型参数中“分离出来”，通过“锚模型”+“层级记忆库”的组合实现高效推理。小巧的锚模型搭配动态记忆库，让AI既“聪明”又“省资源”，为边缘计算和知识更新提供了新思路。锚模型（Anchor Model）：一个小巧的神经网络（160M参数），负责语言理解和推理。W)），如9MB相关参数。
论文阅读：Text-to-Text Pre-Training for Data-to-Text Tasks
咕噜咕噜
05-28 1190
文章简介： 这篇文章内容很简单，作者对最近发布的 【1】T5模型应用data-to-text领域的数据进行微调，发现在WebNLG，MultiWoz，ToTTo三个数据集上都优于目前的性能；作者提出可能这种只采用预训练模型，不需要进行现在文本生成领域流行的规划生成【2】【3】，词约束和复制机制方法，同样也能取得比较好的文本生成效果； 主要内容： 预训练： 实验T5模型：Small (60 million parameters), Base (220 million), Large (770 million)
wiscKey论文--------对LSM-tree的优化
m0_63691156的博客
04-05 394
个人学习
[论文笔记] WiscKey: Separating Keys from Values in SSD-Conscious Storage
大隐隐于野
08-15 892
WiscKey 的核心思想是将数据中的 Key 和 Value 分离，只在 LSM-Tree 中有序存储 Key，而将 Value 存放在单独的 Log 中。当 LSM-Tree 进行 compaction 时，只会对 Key 进行排序和重写，不会影响到没有改变的 Value，也就显著降低了写放大将 Value 分离后，LSM-Tree 本身会大幅减小，所以对应磁盘中的层级会更少，可以减少查询时从磁盘读取的次数，并且可以更好的利用缓存的效果。
论文翻译 WiscKey: Separating Keys from Values in SSD-Conscious Storage
海涛的学习笔记
10-20 902
论文翻译 WiscKey: Separating Keys from Values in SSD-Conscious Storage 文章目录**论文翻译 WiscKey: Separating Keys from Values in SSD-Conscious Storage****说明****为何要翻译****翻译过程****我的总结****TITLE****ABSTRACT****1. INTRODUCTION****2. BACKGROUND AND MOTIVATION****2.1. Log-S
《WiscKey: Separating Keys from Values in SSD-conscious Storage》阅读笔记
weixin_44520881的博客
02-21 1049
abstract   我们提供了WiscKey，这是一个持久的基于LSM树的键值存储，具有面向性能的数据布局，它将键与值分离，以最小化I/O放大值。WiscKey的设计是高度SSD优化的，利用了设备的顺序和随机性能特性。我们用微基准测试和YCSB工作负载演示了WiscKey的优势。微基准测试结果显示，WiscKey比LevelDB快2.5×-111×，比随机查找快1.6×-14×。在所有六个YCSB工作负载中，WiscKey比LevelDB和RocksDB都要快。 introduction   对于写密集型
wisckey论文阅读：在SSD场景中，将key于value分离
bigbugss的博客
08-23 2063
摘要:基于持久化LSM树的kv存储，将key与value分离减少写放大 性能比起leveldb提升很大 1.introduction 键值存储在很多应用场景中，都越来越重要。 LSM结构比起B树，减少了很多随即写，变成顺序写，提升了性能。而LSM之所以这么成功，是因为与HDD的结合，HDD的顺序IO比起随机IO 快了1000倍。 但随着ssd的使用普及，对这种情况造成了一些变化。 本文...
WiscKey - Separating Keys from Values.pdf
03-30
that separates keys from values to minimize I/O amplification. The design of WiscKey is highly SSD optimized, leveraging both the sequential and random performance characteristics of the device. We ...
The evolution of mutation rates: separating causes from consequences
06-29
The evolution of mutation rates: separating causes from consequences The evolution of mutation rates: separating causes from consequences Paul D. Sniegowski,1* Philip J. Gerrish,2 Toby Johnson,3 and...
Separating Data via Block Invalidation Time Inferencefor Write Amplification Reduction in Log-Structured Storage总结
07-04
论文《Separating Data via Block Invalidation Time Inference for Write Amplification Reduction in Log-Structured Storage》聚焦于日志结构存储（Log-Structured Storage）系统中的写放大（Write Amplification...
[数据结构]--WiscKey: Separating Keys from Values in SSD-Conscious Storage
欢迎来到我的博客，一起探索代码里的世界！
06-22 2158
感谢编写原文的作者：http://www.cnblogs.com/fuzhe1989/p/7763612.html WiscKey: Separating Keys from Values in SSD-Conscious Storage WiscKey是一个基于LSM的KV存储引擎，特点是：针对SSD的顺序和随机读写都高效的特点，Key和Value分开存储以最小化IO放大效应。YCSB...
论文阅读（１）：ｃｏｃｙｔｕｓ
bigbugss的博客
10-08 311
与ｗｉｓｃｋｅｙｄｂ的关系：借用了ｗｉｓｃｋｅｙｄｂ将ｋｅｙ和ｖａｌｕｅ分离的设计思想，本文将元数据，ｋｅｙ和ｖａｌｕｅ分离，采用混合式的备份策略，实现了可用性和内存效率的同时满足。   主要设计:cocytus,针对不同大小的键值对，采用ＰＢＲ和ｅｒａｓｕｒｅｃｏｄｅ混合的措施保证数据的可用性。   问题来源：在服务器宕机后，即使有持久性存储数据不会丢，但讲上百Ｇ的数据加载到内存中从而提...
Redis服务安装自启动(Windows版)
2509_94199043的博客
11-29 878
一般来说，一些中大型企业都会去采用 Linux 服务器来部署 Redis，而且 Redis 官方并没有提供 [Windows 版本](https://gitcode.com/gh_mirrors/wi/windows/overviewutm_source=highlight_word_gitcode&word=windows&isLogin=1 "Windows 版本")的安装包。
MySQL数据库的数据文件保存在哪？MySQL数据存在哪里
2509_94083514的博客
11-30 771
在安装好MySQL数据库使用一段时间后，会产生许多的数据库和数据。那这些数据库的数据文件存放在本地文件夹的什么位置呢一、默认位置MySQL创建的数据库实际上存储在文件系统的一个特定目录中，该目录通常为MySQL的数据目录。这个目录的默认位置依据操作系统和MySQL的安装方式不同而有所差异。、这个目录通常位于，它可能位于是个隐藏文件夹）**其中“X.X”是MySQL的版本号。目录（每个数据库都有一个与其同名的文件夹，而这个文件夹中包含了该数据库的所有表的文件，而其中的文件代表了数据库中的表。
【免费云平台部署指南】按场景选型+全维度对比（附直达地址）
分享技术干货，聚焦AI前沿科技
12-03 553
免费云平台已能覆盖从静态网站到AI模型部署的大部分场景，核心是根据项目类型（静态/后端/AI）、访问地区（国内/国外）和功能需求（数据库/容器/GPU）选择适配平台。新手建议从简单场景入手（如GitHub Pages部署博客、Hugging Face Spaces部署AI Demo），熟悉后再尝试全栈或容器化部署。
redis基本类型 5种基本类型
yeshihouhou的博客
11-30 259
List的另一个应用就是消息队列，可以利用List的 PUSH 操作，将任务存放在List中，然后工作线程再用 POP 操作将任务取出进行执行。我们在谈基础数据结构时，讨论的是存储值的数据类型，主要包括常见的5种数据类型，分别是：String、List、Set、Zset、Hash。Redis hash 是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。
我们来学mysql -- undo log系列归档
一起学Coding
12-01 178
undo log系列归档
【开题答辩全过程】以 基于Javaweb的电动汽车充电桩管理系统为例，包含答辩的问题和答案
最新发布
shiji9932的博客
12-03 327
本文介绍了一位14年经验的技术专家可提供的毕设支持服务，包括Java、Python等多语言项目开发与答辩指导。重点展示了一个"电动汽车充电桩管理系统"的答辩案例，详细说明了系统功能（预约管理、费用计算等）、技术实现（SpringBoot+Vue+MySQL）及关键问题解决方案（如预约冲突处理、断电检测机制）。文中提供了答辩问答实录，展现了从选题背景到技术细节的完整答辩过程，并附有评委的正面评价。最后建议学生可参考往届真实开题报告，提供选题指导、源码参考等服务，强调独立完成的重要性，同时表
我们来学mysql -- 怎样才能把“数据页”联系起来
一起学Coding
12-01 175
mysql数据页之间的关系
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值