
云服务与大数据
文章平均质量分 56
云服务与大数据相关开发进展
xiaosanxian
擅长内存管理和嵌入式软硬件协同开发。
展开
-
论文解读--NeoMem: Hardware/Software Co-Design forCXL-Native Memory Tiering
为了充分发挥基于CXL的异构内存系统的潜力,需要高效的内存分层技术。然而,现有的内存访问分析技术分辨率低且开销高。本文提出了一个新颖的内存分层解决方案NeoMem,它通过硬件/软件协同设计,将内存分析功能加载到CXL设备端控制器中,集成了一个专门的硬件单元NeoProf。NeoProf: 一个集成在CXL内存设备控制器中的硬件单元,用于实时监控内存访问并提供关键的页面热度统计信息。内存分层: 根据访问频率将“热”页面放置在快速内存层,将“冷”页面放置在慢速内存层以最大化系统性能。原创 2025-02-04 10:30:00 · 179 阅读 · 0 评论 -
论文解读--eZNS: An Elastic Zoned Namespace for Commodity ZNS SSDs
业界一直都在这方面进行努力探索:在块接口扩展方面,NVMe 正在标准化 FDP 接口,它是多流接口基础上的进一步精细化演进;另外,键值存储接口、CXL 内存语义接口等给出了全新定义的 SSD。在闪存 SSD 得到越来越广泛应用的当下,面向过去,兼容传统的块接口和存储系统固然重要,但更应面向未来,针对闪存特征思考新型的接口设计与软硬件边界,构建极致高效的存储系统。它包含两个主要组件:管理控制平面上的区域分配和活动资源的区域仲裁器、具有读取拥塞控制的分层 I/O 调度程序以及数据平面上的写入准入控制。原创 2025-01-12 08:30:00 · 170 阅读 · 0 评论 -
SSD ZNS使用场景与市场调研
该功能目前已应用在企业级SSD,消费级SSD暂时未引入该feature。原创 2024-12-02 11:00:00 · 1017 阅读 · 0 评论 -
论文解读--LLM in a flash: Efficient Large Language Model Inference with Limited Memory
大语言模型(LLM)的推理阶段,都是直接加载到DRAM中。这篇论文主要解决的问题是如何在有限的内存容量下高效地运行超出DRAM容量的大语言模型。该论文在两个关键领域进行优化:窗口化策略降低数据传输量,行-列捆绑存储增加从flash读取的数据块大小。这些方法使得模型可以在可用DRAM容量的两倍大小下运行,并且与CPU和GPU中的简单加载方法相比,推理速度分别增加了4-5倍和20-25倍。解决如何在有限的内存容量下高效地运行超出DRAM容量的大语言模型策略。解决LLM推理阶段直接加载到DRAM中面临的挑战。原创 2024-11-27 13:00:00 · 344 阅读 · 0 评论 -
论文解读:Reinforcement Learning-Based SLC Cache Technique for Enhancing SSD WritePerformance
通过观察混合SSD的工作负载模式和内部状态,确定最佳 SLC 高速缓存参数,旨在改善使用QLC NAND的SSD的写入性能。热/冷分离阈值:考虑到SLC-to-QLC迁移成本,应尽量只在SLC区域写入频繁更新的“热”数据,其他“冷”数据直接写入QLC区域。热/冷分离阈值:应尽量只在SLC区域写入频繁更新的“热”数据,其他“冷”数据直接写入QLC区域。文章提出一种SLC缓存优化方案。详细介绍了基于强化学习(RL)的SLC缓存管理技术,旨在改善使用QLC NAND闪存的固态硬盘(SSD)的写入性能。原创 2024-11-18 10:00:00 · 450 阅读 · 0 评论 -
论文解读:A User-space I/O Frameworkfor Application-specific Optimization on NVMe SSDs
内核复杂的IO stack阻碍了NVMe/SSD的性能发挥,文章提出了一种用户空间的I/O框架NVMeDirect。本文将解读来自Proceedings of the 8th USENIX Workshop on Hot Topics in Storage and File Systems的论文,文章提供了代码实现: https://github.com/nvmedirect/nvmedirect/tree/master。IO completion作为一个独立的线程,使用轮询检查IO的完成情况。原创 2024-11-14 10:00:00 · 594 阅读 · 0 评论 -
论文解读-Contiguitas: The Pursuit of Physical Memory Contiguity in Datacenters
Contiguitas-HW将正在被迁移的页分为源页和目标页,并将对页的访问正确重定向到对应的页中。如果页的属性从可移动变化为不可移动,则Contiguitas将其迁移到不可移动区,避免对可移动区的污染。采用算法动态调整不可移动区和可移动区的边界,确定不可移动区的大小。为了解决不可移动页带来的内存碎片问题,Contiguitas进行了三个方面的设计,如图6所示:① 让不可移动页只在不可移动区域被分配;其中③也可以用于可移动页的迁移,不需要执行费时的TLB shootdown,提高页迁移操作的可扩展性。原创 2024-04-20 18:54:52 · 394 阅读 · 0 评论 -
论文解读-ASAP: Fast Mobile Application Switch via Adaptive Prepaging
本文针对Android 系统的不友好机制,设计了新的swap策略。原创 2024-04-20 18:51:33 · 626 阅读 · 0 评论 -
论文解读-Victima: Drastically Increasing Address Translation Reachby Leveraging Underutilized Cache Reso
CVSS 包含三个关键组件:(1) CV-SSD,一种可以最大限度地减少写入放大并随着时间的推移优雅地减少其输出容量的 SSD;(2)CV-FS,用于弹性逻辑分区的日志结构文件系统;(3)CV-manager,一个用户级程序,根据存储系统的状态编排系统组件。本文设计了可变存储系统 (CVSS) 的设计和实现。通过允许存储容量随着时间的推移适度减少,从而在 SSD 的整个生命周期内保持高性能,从而防止故障缓慢症状。提出可变容量的存储系统,即改变可用的逻辑地址空间的大小,将不可用的块剔除出映射表。原创 2024-06-01 19:40:51 · 86 阅读 · 0 评论 -
论文解读-OPTR: Order-Preserving Translation and Recovery Designfor SSDs with a Standard Block Device Int
OPTR实现强崩溃一致性。OPTR设计了一种在兼容块接口的前提下,实现存储内部强请求一致性的控制器算法。原创 2024-06-01 19:37:58 · 126 阅读 · 0 评论 -
Xshell5/Xftp5 出现"要继续使用此程序必须应用到最新的更新或使用新版本"字段 修改解决方法
原因:Xshell5配置文件中写入了强制升级时间,这个版本是2017年12月27日发布的;2018年12月25日后就必须升级法一: 修改电脑系统时间 把系统时间改到2018年12月25日之前 就可以打开了。 弊端:这样太麻烦,而且不能每次使用的时候都改时间用完了再改回来法二: 先修改你电脑时间为前一年(2017 12月), 然后就可以打开xshe...转载 2019-06-10 10:20:20 · 734 阅读 · 0 评论