深入理解Lustre文件系统-第1篇 前言

Lustre文件系统是由U.S.Department of Energy Office of Science and National Nuclear SecurityAdministration laboratorie于近十年之前发起并提供基金支持的的,旨在满足当时和以后的超级计算平台中对于开源、高可扩展的、高性能的并行文件系统的需求。经过十年的发展,它得以在众多中型到大型超级计算平台和集群中部署,达到了Lustre用户社区的预期。截止本文编写时为止,根据Top500的数据,在全世界前30个超级计算机中,有15个使用了Lustre文件系统。

本报告旨在提供一个关于Lustre内部是如何工作的streamlined概述,其中牵涉到适量的细节,例如Lustre 1.6版的源码包中的数据结构、API、协议、算法等。更重要的是,本报告尝试解释各不同部件如何互相联系、相互作用,形成一个系统。本文中的部分内容基于与Oak Ridge National Laboratory Lustre Center of Excellence的团队人员的交流,还有部分内容是基于作者们对于源码如何运作的理解。我们这些作者们,承担了这篇文章中存在错误和遗漏的责任,只求这篇报告在帮助我们理解Lustre源码及其内部工作机制的同时,也能帮助现在和将来的Lustre用户和源码开发者们。

本文章欢迎转载,请保留原始博客链接http://blog.youkuaiyun.com/fsdev/article
深入理解Lustre文件系统-第1篇 跟踪调试系统 一直以来,Linus Torvalds对内核调试器都秉持着抵触态度,并且摆出了我是bastard我怕谁的姿态。他保持了一贯风格,言辞尖锐却直指本质。相信这是经验之谈。在调试内核时,最关键的问题是如何获取出错相关的信息,准确定位出错位置。获取信息有很多方法,其中内核调试器只能提供有限的帮助,而分析日志则是最基本也是最主要的方法。为内核层软件提供一种方便的日志工具,将大大简化其调试工作。在Linux社 阅读详情

相关推荐

深入理解Lustre文件系统-第2篇 Portal RPC

远程进程调用(Remote Procedure Call,RPC)是构建分布式系统时所使用的一种常见组件。它使得客户端可以像进行本地调用一样进行远程的过程调用,即客户端可以忽略消息传递的细节,而专注于过程调用的效果。     Portal RPC是Lustre 的RPC组件,它构建于LNET之上,提供客户端和服务器之间进行消息通信的接口。 2.1      消息通信连接的建立     进行P

李希的博客 6259

linux源码位置_Lustre并行文件系统源码编译

Lustre并行文件系统源码编译0.前言Lustre是一个开源、分布式并行文件系统软件平台,具有高可扩展、高性能、高可用等特点。Lustre的构造目标是为大规模计算系统提供一个全局一致的POSIX兼容的命名空间,这些计算系统包括了世界上包含最强大的高性能计算系统。它支持数百PB数据存储空间,支持数百GB/s乃至数TB/s并发聚合带宽。0.1 关于本文的几点说明:(1). 本文档只针对Lu...

weixin_39757626的博客 1019

深入理解Lustre文件系统-第3篇 LNET:Lustre网络

LNET是Lustre Networking的缩写,是Lustre的网络子系统,负责提供消息传递API。LNET源自于Sandia Portals,但又与之存在着差异。 3.1      结构     LNET由两部分组成: LNET层。它以通信API的方式,向被称为LNET客户端的高层提供一个与网络类型无关的服务。在LNET层,以LNet作为前缀的函数名是为高层提供的外部API,而以l

李希的博客 1万+

Lustre源码梳理-02-模块加载

Lustre的模块加载过程通过分层初始化子模块(如MGC)优先完成自身配置和通信链路建立,主模块lustre_init随后整合所有组件,形成完整的文件系统服务。这一设计确保了模块化扩展性和运行时稳定性。

qq_37144530的博客 621

lustre2.3.49.54源码

最新的lustre代码,lustre2.3.49.54源码

Lustre文件系统资料全集

包括Lustre mannul , Lustre internals , Lustre quick start ,Lustre arthitecture等资料

Lustre源码梳理-01-系统概述

lustre源码梳理

qq_37144530的博客 698

深入理解Lustre文件系统

深入理解Lustre文件系统

[Lustre] 基于ldiskfs存储类型的源码编译

本文详细介绍如何编译后端存储类型为ldiskfs的lustre源码,并制作离线安装包。

分布式存储随笔 1921

制造业批次管理中双计量单位动态转换的实践指南

本文详细介绍了制造业批次管理中双计量单位动态转换的实践指南,特别是在SAP系统中的配置与操作步骤。通过实际案例展示了如何解决采购与生产部门计量单位不一致的问题,提升物料管理效率。重点讲解了批次特性配置、移动类型调整及常见问题排查方法,适用于金属加工、化工等多个行业。

weixin_29228203的博客 159

解决DevExpress汉化后不生效的5个常见问题及修复方法

本文详细解析了DevExpress汉化后不生效的5个常见问题及修复方法,包括汉化包部署位置验证、运行时缓存清除、权限与执行上下文排查、版本兼容性检测以及开发环境配置检查。通过实战案例和具体操作步骤,帮助开发者快速解决汉化失效问题,提升开发效率。

weixin_29232121的博客 261

深入理解Lustre文件系统-第12篇 Lustre磁盘文件系统:ldiskfs

ldiskfs(有些时候被错误地称为Linux ext4文件系统)是对Linux ext3文件系统的打了很多补丁的一个版本,由Sun Microsystems公司开发和维护。ldiskfs是Linux ext3和ext4文件系统的超集。现在它只被Lustre文件系统用在服务器端,作为底层的本地文件系统。本节给出了对ldiskfs机器与ext3文件系统不同之处的简要介绍。 就各自的I/O路径而言,

李希的博客 5372

SAP公司间外协业务流程以及配置说明

SAP公司间外协业务流程以及配置说明

竹大的博客 7169

深入理解Lustre文件系统-第13篇 未来的工作

Lustre文件系统是由U.S. Department of Energy(DOE)Office of Science and National Nuclear Security Administration (NNSA)Laboratories于近十之前发起并提供基金支持的,旨在满足当时和以后的超级计算平台中对于开源、高可扩展性、高性能的并行文件系统的需求。在过去十年间,在满足了不同的超级计算平

李希的博客 2862

46.qt quick-自定义非常好看的qml虚拟软键盘-支持换肤、动态加载移除语言(二)

在上章我们学习了45.qt quick-qml虚拟软键盘详解(一)_诺谦的博客-优快云博客 接下来我们便来自定义一款好看的qml软键盘.如下图所示: 支持背景更换、支持动图: 支持动态加载移除语言: 支持拖拽、自由缩小放大: 支持定位坐标: ...

抵抗时间扭曲,坚持做一件有意义的事 4674

【打卡帖】7日玩转ESP32——(第4日) 串口的输入输出

【福利帖】7日玩转ESP32——(第4日) 串口的输入输出

1377

深入理解Lustre文件系统-第4篇 LOV和OSC

从高层的图景看,LOV的任务是将页指向正确的OSC,而OSC的任务是收集脏页向量、组合(group)它们、将它们从传输线上发送到OST(当然,通过PortalRPC和LNET)。 4.1     OBD设备操作 OBD面向设备操作是一个在LOV、OSC和MDC中使用并能被看到的一般性的源码组织模式和实现方法。OBD设备由obd_ops结构体定义的方法表描述,该方法表有点类似于前面提到的VFS文

李希的博客 4854

在 Esp32 摄像头上实现边缘脉冲 FOMO 物体检测

本文将详细介绍如何在 Esp32 摄像头上实现边缘脉冲 FOMO 物体检测,并提供实现源码

DT程序员的博客 706

深入理解Lustre文件系统-第11篇 Lustre一般化文件系统封装层:fsfilt

Lustre在底层本地文件系统和Lustre之间提供了一个称为fsfilt的封装层。在上层中,obd_filter使用fsfilter层提供的一般化的函数,而fsfilter曾将这些调用传送到一个文件系统特有的实现中。这些特有的实现是特定的底层文件系统接口。fsfilt通过使用针对特定文件系统的小(tiny)封装(即对ext3使用的fsfilt和对Reiserfs3文件系统使用的fsfilt_re

李希的博客 3873

C语言设计模式全面解析:从理论到28个实战示例

本文系统介绍了23种经典设计模式在C语言中的实现方法。通过结构体、函数指针等技巧,C语言可以优雅地模拟面向对象特性,实现代码复用与解耦。文章分类详解了创建型、结构型、行为型三大类模式,并提供了28个完整代码示例,包括单例、策略、观察者等核心模式的精简实现。这些模式在嵌入式系统、操作系统内核等场景中广泛应用,如状态机、事件驱动等。学习C语言设计模式的关键在于理解模式意图,掌握函数指针和结构体组合等技巧,并在实际项目中灵活运用。本文为C语言开发者提供了全面的设计模式参考指南。

数字人生 364

Docker(八):Docker Compose(容器编排) 管理多容器应用—实战案例演示

🟢 Docker(八):Docker Compose(容器编排) 管理多容器应用—实战案例演示

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 6万+

深入理解Lustre文件系统-第3篇 lustre lite

在这一节,我们将描述Lustre Lite怎样接入Linux VFS并与之融为一体,这对于支持VFS语义和POSIX接口非常必要。作为概要,Lustre Lite以方法表(method table)的形式提供了如下函数: Lustre特有的文件操作,通过ll_file_operations表。 Lustre特有的dentry操作,通过ll_d_ops和它的cache。 Lustr

李希的博客 9365

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Lustre中文手册下载:高性能集群文件系统的全面指南

Lustre中文手册下载:高性能集群文件系统的全面指南 【下载地址】Lustre中文手册下载 Lustre中文手册下载仓库为您提供全面、专业的中文指南,助您轻松掌握Lustre文件系统的使用与管理。Lustre作为高性能、可扩展的集群文件系统,广泛应用于超级计算和大型数据中心,以其卓越的性能和可靠性著称。本手册涵盖安装、...

gitblog_06767的博客 350

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 文件系统那些事-第4篇 并行文件系统之开源解决方案Lustre
下一篇: 深入理解Lustre文件系统-第2篇 体系结构的模块视图
piperzero
博客等级 码龄21年 1377粉丝 504原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值