论文阅读：optimizing every operation in a write-optimized filesystem

WOD与betrFS优化
最新推荐文章于 2025-06-02 16:00:53 发布
原创 最新推荐文章于 2025-06-02 16:00:53 发布 · 303 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨WOD(Write Optimized Dictionaries)如LSMTree、BETR、XDict等在键值存储上的优化，及其如何提升随机key插入、删除性能与范围查询速度。深入分析betrFS文件系统，其利用映射表索引存储元数据和内容，实现高效的数据管理和一致性维护。

背景介绍

WOD-WRITE OPTIMIZED DICTIONARIES

WOD包括ｌｓｍｔｒｅｅ及其优化，ｂｅｔｒｔｒｅｅ，ｘｄｉｃｔ，ｃａｃｈｅ－ｏｂｌｉｖｉｏｕｓｌｏｏｋａｈｅａｄ　ａｒｒａｙ。
ＷＯＤ提供键值接口，支持插入，查询，删除，范围查询
比起ｂｔｒｅｅ特点：随机ｋｅｙ插入性能好，删除通过插入ｔｏｍｂｓｔｏｎｅ，ｂｅｔｒ的读性能和ｂｔｒｅｅ一样好，可以以接近磁盘带宽的速度进行范围查询

betrfs

元数据和内容都存放在ｂｅｔｒｆｓ中，使用映射表索引。
ｉｎｄｉｒｅｃｔｉｏｎ　ｖｓ　ｆｕｌｌｐａｔｈ
ｃｏｎｓｉｓｔｅｎｃｙ：ｂｅｔｒｆｓ的ＶＦＳ会缓存ｄａｔａ和ｍｅｔａｄａｔａ的ｄｉｒｔｙ　ｂｌｏｃｋ，５ｓ之后写回

避免重复写

晚绑定日志：
ｂｅｔｒｆｓ０．１数据至少写两遍，一遍ＷＡＬ，一遍ｂｅｔｒｆｓ。
解决方法：直接写到ｔｒｅｅ的叶节点里，然后在ｌｏｇ通过指针确认。

增加ｚｏｎｅ概念

使得修改文件名以及文件目录迭代遍历之间的性能权衡，变得可量化，可调优

有效的范围删除

论文解读：Chiplet-Gym: Optimizing Chiplet-Based AIAccelerator Design With Reinforcement Learning
popoluoluo的博客
04-19 1033
然而，基于chiplet的AI加速器设计的巨大设计空间以及系统和封装级协同设计方法的缺失，使得设计师难以找到关于功耗、性能、面积和制造成本（PPAC）的最佳设计点。然而，如果BWact < BWreq，则会有BWreq BWact周期的停滞，SRC是源数据的意思，如图5，是HBM时要向周围的四个AL广播，因此N是4。2.5D（图2中a）和3D（图2中b,c）都可以集成在同一封装上，这些架构被称为5.5D，如内存-逻辑的堆叠，其中高带宽内存HBM堆叠在CPU和/或AI芯片上，如图2(b)所示。
【论文速读】Prefix-Tuning: Optimizing Continuous Prompts for Generation
weixin_43457608的博客
10-14 1587
微调实际上是利用大型预训练过的语言模型来执行下游任务的一种方法。但是，它会修改所有的语言模型参数，因此需要为每个任务存储一个完整的副本。在本文中，我们提出了Prefix-Tuning（前缀调优），这是一种针对自然语言生成任务的轻量级替代方法，它可以保持语言模型参数冻结，但优化了一个连续特定任务的小向量（称为前缀）。前缀调优从prompting（提示）中获得灵感，允许后续的令牌像关注“虚拟令牌”一样关注这个前缀。
BetrFS: 一种写优化的文件系统
woliuqiangdong的博客
11-02 310
the BetrFS​nan01ab.github.io 0x00 引言 BetrFS是一个以TokuDB为基础的文件系统。它有以下的几个特点：1. 基于写优化的数据结构Bε-tree；2. 将文件系统的操作转化为TokuDB的Key/Value操作；3. 自身不能算是一个完整的操作系统，空闲空间管理等其实还是要利用ext4文件系统，也就是BetrFS其实是一个构建在ext4文件系统上面的文件系统， On one microdata benchmark, BetrFS provides more.
《Write Optimized B-Trees》读书报告
12-18 337
论文原作者：Goetz Graefe, Microsoft。我读完这篇论文后颇有收获，所以写了一篇论文报告，旨在更精炼准确地阐述论文核心思想。 摘要：论文提出了一种方法，这种方法可以优化B树索引写性能的同时尽可能不损失读性能。论文修改了传统B+树节点的数据结构，去除兄弟节点之间的指针链，同时显著优化了页面迁移事务，写优化B树的实质就是调用论文所优化的页面迁移事务，实现高...
论文阅读1：Path Transitions Tell More: Optimizing Fuzzing Schedules via Runtime Program States
m0_62652648的博客
11-21 683
ICSE 2022的一篇结合字节分析的fuzzing论文
存储领域TOP团队
sinat_22510827的博客
05-03 2194
本文对存储领域比较优秀的实验室进行整理，主要是根据其在FAST顶会上发表的文章为参考，目的在于能够了解最新的研究方向，另外，团队里面培养了很多相关研究人员，也可以按图索骥了解他们。 一些知名的团队，比如陈海波的IPADS实验室，由于更专注于系统方向的研究，没有考虑在存储领域，后面会对系统方向top的团队也做下总结。还有体系结构方向的团队（Yale Patt、Mutlu Onur等），太偏硬件设计（CPU、memory等）了，也没有考虑在内。 国外 GREG GANGER团队 来自CMU，研究方向包括文
论文阅读——BERT
qq_36919342的博客
05-02 659
BETR：Pre-training of Deep Bidirectional Transformers for Language Understanding
论文阅读：A Faster and More Effective Cross-View Matching Method of UAV and Satellite Images for UAV Geol
fishfuck的博客
07-08 1243
无人飞行器（UAV）近年来迅速发展，由于其操作便捷和强大的数据收集能力，逐渐成为遥感图像获取的主要平台。Alexander等人[1]使用无人机数据在热带雨林中定位树木。Amour等人[2]提出了一种基于深度学习的无人机图像中汽车检测方法。Deng等人[3]将基于无人机的多光谱遥感应用于精准农业。无人机应用涉及众多领域，如摄影测量、农业和地图制作[4-7]。然而，目前无人机的定位和导航主要依赖于GPS和GNSS等定位系统。如何在没有定位系统辅助的情况下实现无人机的自主定位和导航，是一个具有挑战性的任务。
【论文阅读】HEXGEN-TEXT2SQL: Optimizing LLM Inference Request Scheduling for Agentic Text-to-SQL Workflows
2402_86344613的博客
06-02 1050
HEXGEN-TEXT2SQL: 异构GPU集群上优化多阶段Text-to-SQL工作流的LLM推理调度框架 本文提出HEXGEN-TEXT2SQL框架，针对异构GPU集群中多阶段LLM驱动的Text-to-SQL工作流调度问题。通过分层调度方法（全局负载均衡+局部紧急性优先级队列）和轻量级仿真优化超参数，系统显著提升资源利用率并降低SLO违规率。实验显示，相比vLLM基线，该框架将延迟缩短1.41倍，吞吐量提升1.65倍。不足在于复杂查询优化和多租户公平性保障有待改进，未来可结合查询分析和动态资源分配进一
论文阅读：Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models
定期更新人工智能相关的内容
04-20 970
区分长短链推理的关键点
Finding the Right Consumer: Optimizing for Conversion in Display Advertising Campaigns
lming_08技术博客
01-18 1296
这周在公司分享会上分享了《Finding the Right Consumer: Optimizing for Conversion in Display Advertising Campaigns》，下面贴出分享的主要内容。     文章参考于：http://www.cs.cmu.edu/~yandongl/papers/wsdm2012.pdf
BetrFS: A Compleat File System for Commodity SSDs——论文阅读
重新开始写博客
02-01 1812
目标是设计在各种不同工作负载下，使文件系统在SSD上始终性能良好。作者对BetrFS进行了详细的分析，将BetrFS从HDD迁移到SSD会面临6个问题：顺序写入和过多的文件数据拷贝；小写和双重日志；顺序读取和预读；文件创建和存在性检查；递归删除和范围消息；小写入和缓冲区大小调整。根据分析作者在4个方面进行优化：整合层次结构，提出了一种简化的底层存储结构，用于SSD上的内核中的写优化键值存储；键空间范围作为第一类基元，提出了一些针对于键空间中连续的键值对集合的范围操作的优化；
“好玩儿”文件系统大赏
内核工匠
05-21 1152
Linux文件系统千千万，奇奇怪怪占一半。作为Unix/Linux操作系统的基本哲学之一，“一切皆文件”的设计思想产生了很多种不同的文件系统。有的文件系统并没有持久性的存储设备，比如：tm...
关系查询处理 查询优化 论文_“星”技术How to Copy Files— FAST'20 论文解读
weixin_39974811的博客
11-02 177
共7440字，阅读约20分钟01导读这篇发表于FAST20会议的论文，是关于如何高效率的对文件目录树进行快速克隆操作，由来自北卡罗来纳大学教堂山分校的Yang Zhan，Yizheng Jiao以及 罗格斯大学，佩斯大学,石溪大学，VMWare研究中心的相关研究人员合作开发完成的。图片来源网络本文并非是这篇论文的完整翻译稿，只是对里面的一些重点内容进行解读，有些地方解读不一定准确，建议感...
关于算法，那些你不知道的事
热门推荐
西代零零发
06-20 1万+
关于算法，那些你不知道的事1.算法，不止于刷题提到算法，不管是科班出身还是半路出家的程序员可能都会说上几句，算法谁没学过谁不知道啊？对于走工业界路线而非学术路线的同学来说，算法学习的最大作用也许是找工作…… 毕竟工作后，绝大多数时候都用各种成熟的类库，少有自己实现高级数据结构和算法的时候。但刚结束一学期修的算法课，上得我还真跟没学过算法似的，让我大开眼界，虽然每次课上我都听的不是很懂，但每节都期盼着
论文阅读:implementing flash page reuse with WOM codes
bigbugss的博客
11-21 381
摘要 针对的是flash存储的pe寿命问题。WOM代表write-once memory，写之前必须先擦除。而减少块擦除有WOMcodes算法。 detail 写前擦除的机制，不光会使io本身延迟增加，同时会影响ssd的寿命。 WOMcodes在物理写之前，修改逻辑数据，从而允许cell可以再多个写之间重用。增加每个block在必须被擦除之前所保存的数据数量。 但是WOMcodes运用在SLC和M...
FAST 2020 摘要概览
qq_29471575的博客
09-16 4161
FAST 2020 摘要概览 (18th USENIX Conference on File and Storage Technologies) https://www.usenix.org/conference/fast20/technical-sessions 只简单整理了目录及摘要，仅供参考 更多内容点击 https://bbs.geekscholar.net/d/19-fast-2020 目录 Cloud Storage [2020/02/17] MAPX: Controlled Data M
Optimizing Subjective Quality in HEVC-MSP: An Approximate Closed-form Image Compression Approach
澍yeah的博客
08-20 445
HEVC作为最新的视频编码标准，在图像压缩方面实现了最佳性能。 在此基础上，我们提出了一种新的方法来优化基于HEVC的图像压缩的主观质量。 具体地，建立比特分配公式以优化主观质量，同时限制比特率。 然后，我们提出了一种递归泰勒展开方法，以快速求解具有近似闭合形式解的这种公式。 实验结果表明我们的方法具有优越的性能，与用于人脸图像压缩的最先进的HEVC-MSP相比，BD率节省约40％。 如今，...
C-Store：一个列存数据库
乔的博客
12-28 2073
今天介绍《C-Store: A Column-oriented DBMS》，这篇文章是VLDB 2005的，作者 Mike Stonebraker，2015年图灵奖获得者...
Autonomous Networks: Empowering the Digital Transformation with Self-Optimizing Infrastructure
最新发布
12-06
自主网络通过自优化基础设施推动数字转型主要体现在以下几个方面： ### 智能资源分配 自主网络的自优化基础设施能够基于实时的网络状况和业务需求，智能地分配计算、存储和带宽等资源。例如，在企业网络中，当某个部门有大型数据处理任务时，自优化基础设施可以自动将更多的计算资源调配给该部门，以确保任务高效完成。这有助于提高资源利用率，减少浪费，从而降低企业的运营成本，为数字转型提供坚实的基础。 ### 故障自动修复 自优化基础设施具备实时监测网络状态的能力，能够及时发现故障并自动进行修复。一旦检测到网络中的某个节点出现故障，系统可以迅速重新路由流量，绕过故障节点，保证业务的连续性。这种快速的故障响应机制可以减少因网络故障导致的业务中断时间，提高企业的生产效率，增强企业在数字化时代的竞争力。 ### 自适应安全防护 随着数字转型的推进，网络安全问题日益突出。自主网络的自优化基础设施可以根据实时的安全威胁态势，自动调整安全策略。例如，当检测到来自外部的异常流量攻击时，系统可以自动加强防火墙规则，阻止攻击的进一步蔓延。同时，它还可以根据内部用户的行为模式，动态调整访问权限，确保数据的安全性和保密性。 ### 支持新业务快速部署 自优化基础设施能够快速适应新的业务需求，支持新的应用和服务的快速部署。在数字转型过程中，企业需要不断推出新的业务模式和应用程序。自主网络可以通过自动化的配置和部署流程，快速为新业务提供所需的网络资源和支持，缩短新业务的上线时间，帮助企业更快地响应市场变化。 ```python # 以下是一个简单的示例代码，模拟自主网络的资源分配优化 class AutonomousNetwork: def __init__(self): self.resources = { 'computing': 100, 'bandwidth': 1000 } def optimize_resources(self, task): if task == 'data_processing': self.resources['computing'] -= 20 self.resources['bandwidth'] -= 50 print(f"Allocated resources for data processing. Remaining computing: {self.resources['computing']}, bandwidth: {self.resources['bandwidth']}") elif task == 'video_streaming': self.resources['computing'] -= 10 self.resources['bandwidth'] -= 200 print(f"Allocated resources for video streaming. Remaining computing: {self.resources['computing']}, bandwidth: {self.resources['bandwidth']}") # 创建自主网络实例 network = AutonomousNetwork() # 模拟数据处理任务 network.optimize_resources('data_processing') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值