- 博客(35)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 不只是又一个 Redis：PowerFS KV 接口在 LLM 推理场景的六个优势
PowerFS的KVCache接口通过“内存缓存、Volume底座、Raft映射”三层架构，解决LLM推理中KVCache“快且不丢”的矛盾需求。其核心创新在于：驱逐仅降级不删除，数据持久化于Volume；Raft仅同步元数据指针，避免日志膨胀；写入分两阶段，失败可回收；按会话组驱逐与三档Pin机制贴合推理访问模式；读路径支持绕过Master直连Volume，实现水平扩展吞吐；与文件/S3共用存储底座，统一可靠性与运维。相比Redis等方案，它更适配长上下文、高可用、多协议共享的生产级推理场景。
2026-11-06 14:59:35
178
原创 不重造 S3 轮子：PowerFS 如何把 RustFS 变成自己的 S3 服务面
本文介绍在不修改S3语义的前提下，将自研分布式文件系统PowerFS与RustFS集成的完整方案。通过在RustFS的ECStore中引入外部存储委托机制，实现元数据与数据面的解耦：控制面（S3 API、IAM、管理功能）由RustFS全量复用，数据面则通过适配层接入PowerFS的Filer与Volume，共享同一套元数据与needle存储。关键设计包括按桶路由的注入缝、8个新定义的S3元数据RPC、原子化覆盖写、分块读写与Range处理、Multipart零拷贝完成、以及针对EC与压缩的读路径校验机制。
2026-11-06 14:35:30
27
原创 PowerFS v1.0.0 正式稳定版发布：高性能分布式文件系统核心能力解析
PowerFS 发布 v1.0.0 首个稳定版本，整套系统包含 Master、Filer、Volume、内核客户端、FUSE客户端五大核心组件，原生支持RDMA高速传输，实现内核模块与FUSE双客户端栈。版本重构锁与Lease能力，内置小文件内联存储、并行回写协议，完成完整POSIX兼容性、IO500、fio等多轮验证。本文梳理v1.0.0版本组件、核心亮点与验证测试结果。
2026-09-04 17:54:18
336
原创 #PowerFS AI Agent：让存储系统从被动响应走向主动自治
传统分布式存储大多属于被动式系统，等待用户下发迁移、巡检、故障修复等指令，缺少闭环自治能力。本文围绕 PowerFS AI Agent 设计方案，介绍如何通过 AI Agent 构建**感知‑决策‑执行‑验证**完整闭环，覆盖数据生命周期管理、可靠性智能运维、IO访问轨迹优化三大智能化主线。Agent作为管理面旁挂决策服务，不侵入数据IO路径，保障业务时延不受影响；同时坚持确定性优先原则，规则引擎负责确定性逻辑，LLM专注根因分析、自然语言交互等复杂场景，实现分布式存储的智能化自治演进。
2026-09-04 17:48:43
373
原创 从本地磁盘到 NVMe-oF target：PowerFS 存储后端抽象的预留式分层设计
从本地磁盘到 NVMe-oF target：PowerFS 存储后端抽象的预留式分层设计
2026-08-27 16:21:36
339
原创 分布式文件系统的锁竞争难题：PowerFS 三层锁机制与 Loner 状态机如何破局
本文从源码角度剖析 PowerFS 的锁机制设计。PowerFS 是一个用 Rust 编写的分布式文件系统，其锁子系统的核心目标是：**在保证 POSIX 语义的前提下，把跨网络 RPC 数压到最低，同时避免锁风暴与死锁**。读完本文你将理解：为什么 PowerFS 不让客户端直接看到锁、Filer 端的 4 套状态机是怎么运作的、GATHER recall 如何回收旧权限，以及一个真实的"写锁降级读锁"死锁案例
2026-08-27 16:10:23
340
原创 PowerFS实现I/O路径2跳优化
PowerFS 通过 NVMe-oF Target 直连架构，将 I/O 路径从传统的 4 跳压缩至 2 跳，其核心在于，让客户端通过 SPDK NVMe-oF Initiator 直接与全闪存阵列的 NVMe-oF Target 通信。
2026-08-06 19:44:01
58
原创 一个 Rust 写的存储系统，想把 HPC 和 AI 的存储栈统一了
PowerFS：用Rust构建的统一高性能存储系统 PowerFS是一个创新的统一存储解决方案，旨在解决HPC、AI和LLM场景中多套存储系统并存的问题。该系统采用Rust编写，避免了GC抖动问题，提供稳定的P99延迟(<5%)。其核心创新包括：三种接口(POSIX/S3/KV)共享数据池、基于Raft的强一致元数据、Volume Lease数据锁机制、支持NVMe-oF直连和SPDK裸盘访问，以及全链路硬件加速实现NVMe到GPU显存的零拷贝传输。性能测试显示，在元数据操作、目录列表和随机读取等方面均有显
2026-08-06 17:35:34
182
原创 全闪存阵列性能发挥不出来？PowerFS NVMe-oF Target直连架构跳过中间层释放极致性能
全闪存阵列性能优化：PowerFS NVMe-oF直连架构释放极致性能 本文分析了企业级全闪存阵列在实际应用中性能受限的核心原因——传统分布式存储软件栈带来的多层性能损耗。文章详细介绍了PowerFS的创新解决方案：通过NVMe-oF Target直连架构，绕过传统Volume Server中间层，将I/O路径从4跳缩减到2跳，直接释放全闪阵列的原始性能。 文章首先揭示了全闪阵列面临的"性能税"问题，指出中间层的网络传输、内核IO栈、序列化开销等功能重叠是性能瓶颈所在。随后对比了PowerFS的两种存储模式
2026-08-06 17:34:40
220
原创 三套存储系统数据孤岛怎么破？PowerFS协议无关数据层+Filer Raft强一致元数据一次解决
PowerFS：统一元数据与数据层，打破企业存储孤岛 企业存储常面临POSIX、KV、S3三套系统并存的问题，导致元数据割裂、数据搬运效率低下、跨协议延迟高。PowerFS通过协议无关的Needle数据层和Filer Raft强一致元数据层，实现三协议共享同一份元数据和数据池，从根本上消除数据孤岛。其四层架构包括：客户端层（支持POSIX/S3/KV协议）、Filer层（统一元数据管理）、Master层（资源调度）和Volume层（数据存储）。Filer层采用按bucket分片的Raft组设计，确保元数据强
2026-08-06 14:37:30
232
原创 HPC+AI混合负载存储碎片化严重？PowerFS Filer Raft强一致四组件统一架构一套搞定
《PowerFS：统一存储架构破解HPC与AI混合负载难题》 摘要： 传统方案采用三套独立系统（POSIX/KV/对象存储）应对HPC和AI混合负载，导致数据孤岛与运维复杂化。PowerFS提出创新四层架构：1）Master层专注资源调度；2）Filer层通过Raft强一致元数据统一管理三种协议接口；3）Volume层采用Stripe Lease机制保障数据强一致；4）客户端层完全解耦元数据管理。该系统通过分桶式Raft组、O(1)寻址Needle存储和主动失效通知等核心技术，实现单集群同时支持POSIX严
2026-08-05 21:53:12
416
原创 Lease 锁机制：per-stripe 强一致写入与线性化保证
文章摘要 PowerFS通过Volume级per-stripe Lease锁机制解决FUSE客户端并发写入的数据一致性问题。该设计采用64MB粒度平衡了并发性能与锁开销，通过StripeKey区间冲突检测实现跨客户端的写入互斥。Lease由Volume Server单点管理，客户端需申请获得写Lease后才能持久化数据。系统还通过Lease响应携带元数据、三级清理机制等方式保证崩溃恢复与读写一致性。文章详细剖析了该机制的设计原理与实现细节，并总结了实战中遇到的典型问题及修复方案。
2026-08-03 16:47:44
339
原创 HPC和AI混合负载存储难？PowerFS统一卷引擎一招搞定
PowerFS是一款创新的统一存储引擎，通过独创的"统一卷引擎架构"解决了HPC科学计算与AI深度学习需要两套存储系统的痛点。该系统采用Rust语言开发，以协议无关的数据引擎为核心，在一个存储层上同时支持POSIX文件、S3对象和KV缓存三种访问方式，不仅实现了数据共享，还保持了各协议的一致性语义。相比传统方案（如Lustre+MinIO或Ceph），PowerFS具有部署简单、运维成本低、扩展性强等优势，特别适用于需要同时处理HPC和AI混合负载的场景。项目已在GitHub开源，支持快速部署和三种协议的无
2026-08-03 16:41:21
185
原创 PowerFS企业版：55倍性能提升背后的无锁架构革命
PowerFS企业版通过革命性无锁架构设计，实现了55倍元数据性能提升，解决了社区版死锁问题。核心优势包括：原子性目录删除、乐观更新机制、原子引用计数等，在多线程并发场景下性能提升显著。实测显示，企业版在大目录拷贝/删除、并发读写等场景表现优异，吞吐量达550K ops/s，延迟低于10ms。适用于HPC、AI训练、LLM推理等高并发场景。该版本还提供独立statfs通道和自动资源清理功能，确保系统高可用性和稳定性。
2026-07-16 06:19:43
230
原创 自建S3服务部署运维太重？PowerFS S3 Gateway内置Master零组件启动
本文探讨了企业自建S3兼容存储服务的痛点及PowerFS的创新解决方案。传统方案（如MinIO/Ceph）存在部署复杂（需要独立网关、元数据和存储组件）、运维成本高、扩展性差和数据孤岛等问题。PowerFS通过内置S3 Gateway到Master节点，采用三层架构实现多协议统一存储：1）上层支持POSIX、KV和S3接口；2）中间层由Raft调度和内置S3网关组成；3）底层通过OR-Set CRDT实现弱一致元数据管理，避免分布式锁争用。这
2026-07-15 07:15:20
242
原创 多协议共用底层存储如何规避一致性冲突？PowerFS 协议专属一致性架构深度解析
摘要：PowerFS创新性解决多协议统一存储难题，通过分层解耦架构（协议无关统一数据层+协议专属一致性层）与CRDT弱一致并发控制，实现POSIX强一致、S3最终一致、KV会话一致三协议共存。其核心采用统一Needle数据底座存储原始字节流，上层为各协议独立设计元数据与一致性策略（如POSIX三级锁、S3版本管理、KV会话隔离），并通过OR-Set CRDT模型兜底多协议并发冲突，确保零数据丢失。相比传统方案，PowerFS在保持协议原生语义的同时，实现数据全局共享、性能优化与并发安全，适用于HPC+AI混
2026-07-09 11:44:50
353
原创 存储 IO 如何实现 O (1) 常量寻址？深度拆解 PowerFS 底层 Needle 引擎
文章摘要： 针对HPC仿真和AI图像数据集场景中的海量小文件存储痛点，传统文件系统（如ext4/XFS）和分布式存储（如CephRBD）因多级inode索引导致寻址复杂度高（O(logn)~O(n)）、空间浪费严重（利用率不足30%）及磁盘碎片问题。PowerFS采用自研的Needle扁平化存储引擎，通过哈希索引实现O(1)常量寻址，结合紧凑三段式结构（Header+Data+Footer）、双层索引（内存HashMap+RocksDB持久化）及批量写入、零拷贝、EC纠删码等优化，显著提升性能。实测显示，1
2026-07-09 11:42:25
299
原创 Ceph 架构复杂？轻量级统一存储 PowerFS 技术方案解析
本文对比分析了传统分布式存储系统（如Ceph）与轻量级统一存储方案PowerFS在HPC+AI混合场景下的技术特性。传统方案组件复杂、运维门槛高，存在元数据瓶颈和协议覆盖不全等问题；而PowerFS采用三层极简架构，通过Needle引擎实现O(1)寻址，内置EC纠删码和KV缓存，支持多协议统一访问。测试显示PowerFS在小文件处理、扩容迁移等场景性能优势明显，部署流程简化70%，更适合中小规模集群。文章建议运维人力有限且需要混合负载支持的场景优先考虑PowerFS这类轻量方案。
2026-07-08 10:52:50
284
原创 Ceph 太重运维成本高？轻量统一存储 PowerFS 对比测评（HPC/AI 场景首选）
本文对比了Ceph与轻量级存储方案PowerFS的核心差异。Ceph作为通用分布式存储，功能全面但架构复杂，在中小规模AI/HPC场景中暴露出组件繁多、运维门槛高、小文件性能差、缺乏原生KV缓存等痛点。PowerFS针对这些问题进行优化，采用极简三层架构（Master/Volume/Gateway），移除CRUSH/PG等复杂概念，内置EC纠删码和O(1)小文件寻址，原生支持POSIX/S3/KV三协议。实际案例显示，迁移后运维人力减少75%，小文件延迟降低90%，训练速度提升2倍，特别适合50-200节点
2026-07-08 10:42:39
1026
1
原创 存储系统数据孤岛怎么破？PowerFS一招解决存储碎片化难题
摘要： 传统数据中心因存储协议耦合导致文件（Lustre）、对象（Ceph/MinIO）、KV（Redis）三套系统孤立，引发数据迁移难、运维复杂、资源浪费等问题。PowerFS提出协议无关存储架构，通过三层设计实现统一管理： 底层采用Needle格式存储原始数据，屏蔽协议差异； 中层Raft集群隔离管理POSIX/S3/KV元数据； 上层多协议网关适配业务需求。 对比传统方案，PowerFS支持O(1)寻址、内置EC纠删码，实现HPC、AI、LLM业务数据零拷贝共享，硬件利用率提升至85%，运维成本降低6
2026-07-07 20:23:18
188
原创 AI时代存储系统的一点思考
摘要： AI将推动存储系统从"被动响应"转向"主动决策"，实现"数据觉醒"。核心趋势包括：1）存储内核AI化，用神经网络替代传统算法，提升性能；2）构建感知-认知-决策三层智能架构，实现数据自主管理；3）新型介质与AI协同，如存算一体和量子存储；4）AI重构安全与经济模型，如GAN校验数据和动态定价。挑战在于小样本学习和神经符号系统融合。未来存储将演变为理解语义、自主进化的"数字伙伴"，重塑IT基础设施格局，工程师角色将转向&q
2025-07-24 10:22:33
657
原创 第七章：实战项目
通过三个典型物联网场景（环境监测、HID设备、边缘AI）的完整实现流程，串联Zephyr的核心技术点，并提供可复用的代码模板与调试技巧
2025-05-07 16:01:32
137
原创 第一章：Zephyr简介
Zephyr 是一个开源的实时操作系统（RTOS），专为资源受限的嵌入式设备设计，支持多种架构和硬件平台。本文介绍其核心特性和生态概览。
2025-05-07 14:29:02
1050
原创 让 AI 存储更高效的八个因素
AI 工作负载需要针对性能、容量和可用性进行优化的存储。发现在为 AI 应用程序规划存储时需要考虑的一切。当今的 AI 工作负载需要能够提供必要的性能、容量和可用性的存储系统，以确保在应用程序的整个生命周期内可靠运行。人工智能技术，如机器学习、深度学习和预测分析，需要人工智能存储系统能够处理它们生成的大量不同数据，以及波动和流程密集型的工作负载。以下是在为您的 AI 工作负载规划存储时要考虑的八个因素。1. 工作负载模式AI 存储要求因应用程序而异。它们生成不同数量的数据，并具有
2022-03-24 11:49:39
4649
原创 DDS（Data Distribution Service） 什么鬼?
查看wiki等，学术解释是：数据分发服务的实时系统（DDS）是对象管理组织（OMG）的一个标准，旨在解决机器对机器（有时也被称为中间件）的可扩展性，实时，可靠，高性能和可互操作的 数据交换使用发布 - 订阅模式。DDS解决了金融交易，空中交通管制，智能电网管理和其他大数据等应用的需求应用。该标准用于智能手机操作系统[1]，运输系统和车辆[2]， 软件无线电以及医疗保健提供商等应用。DDS被推广用于...
2018-03-10 10:21:22
6146
1
原创 ROS2源码编译和安装
机器人开源操作系统软件ROS在10年后， 终于推出全新架构的ROS2，代号“ardent”。中文意思为“热心的美洲鳖”，看来ROS2要从ROS1的“海龟”变成“土鳖”系列了。与此同时，ROS2的编译系统也换成全新的ament。之前熟悉ROS的知道，ROS最初使用rosbuild，后来换成catkin，换成catkin可以理解，比较比起rosbuild在很多方面要先进很多的，比如支持外部构建，CMa...
2018-03-09 12:03:37
11653
原创 分布式文件系统的未来
对于目前经典的几种分布式文件系统，主要有Lustre、GPFS、Ceph和Glusterfs，各自技术上细致的优缺点网上也有很多，此文就再不赘述。对于在MapReduce计算领域兴起的GFS和HDFS，更多的是可以归为接口类，是满足特定应用的非传统意义的文件系统（传统文件系统一般指支持POSIX文件操作的）。很多人认为随着HDFS等的兴起，传统分布式文件系统趋向于没落，但从新版GPFS和Ceph等
2016-09-07 16:31:06
2111
2
转载 memcached in kernel
Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。为了提升性能，memcached也可以作为linux内核模块运行在内核态。代码已打包上传：http://download.youkuaiyun.com/detail/seacracker/8477701 原始版本在github上有，但仅支持2.4内核。经过改造，目前支持linux-3.0以上版
2015-03-06 12:51:24
632
原创 Berkeley DB in kernel for linux-3.13
BDB最初开发目的是以新的HASH访问算法来代替旧的hsearch函数和大量的dbm实现。BDB的第一个发行版在1991年出现，当时还包含了B+树数据访问算法。在1992年，BSD UNIX第4.4发行版中包含了DB1.85版。基本上认为这是DB的第一个正式版。在1996年中期，Sleepycat软件公司成立，提供对DB的商业支持。目前BDB作为一个开源数据库项目由oracle维护。BDB
2015-03-06 11:50:30
814
100多页处理器发展简史【半导体技术】基于集成电路的处理器发展史：从电子管到AI芯片的演进与全球产业格局重构
2026-02-06
GPU概况survey
2022-03-23
Designing Scalable Graph500 Benchmark with Hybrid MPI+OpenSHMEM
2022-03-23
系统Timer机制，从硬件到操作系统，还有Qemu对timer的模拟
2022-03-23
MPI是一个跨语言的通讯协议，用于编写并行计算机。 该ppt适合用于MPI培训和深入使用
2022-03-23
Overview of the OMG Data Distribution Service
2018-03-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人