Lustre并行文件系统的部署和测试

最新推荐文章于 2024-09-30 11:43:57 发布
原创 最新推荐文章于 2024-09-30 11:43:57 发布 · 6.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#存储 #服务器 #网络 #oracle #unix #freebsd

本文介绍了Lustre并行文件系统，作为高性能、线性增长的解决方案，解决了NFS在大规模系统中的瓶颈问题。Lustre由元数据服务器和多个存储服务器组成，广泛应用于超级计算机。文章涵盖了Lustre的概述、安装部署、性能测试、调试调优和参考资料，适合对分布式并行文件系统感兴趣的读者。

Author: Luo

E-Mail: xcluo.mr@gmail.com

MSN: lx_9986@hotmail.com

Date: 12 Sep, 2011

Keywords: Lustre，并行文件系统， 集群， 高性能， 线性增长


一 并行文件系统

        文件系统分为分布式和共享式，而在分布式文件系统中，又细分有分布式并行文件系统，这里说的也是这个。NFS（网络文件系统）是起源最早的为网络系统服务的文件系统之一，用户可以通过ＮＦＳ将自己的存储才网络中共享给所有的客户端。但是在系统增大，计算机节点增多的前提下，很容易出现访问瓶颈，比如网络瓶颈（千兆网卡的最大数据能力就是100MB/s上下），存储瓶颈（单硬盘的读写能力基本在100MB/s上下），服务器内存等，都会成为存储的瓶颈。基于此问题，诞生了更新一代的

最低0.47元/天 解锁文章
Lustre并行文件系统建设
当你感觉累的时候，证明你正在走上坡路！
09-07 1万+
Lustre并行文件系统建设Author By esxu 2015/08/19项目背景介绍本次项目目的在于构建一个具有高性能、支持高并发读写、文件共享的存储系统。Lustre在HPC领域被广泛使用，本次项目建设也是在调研了其他诸多文件系统之后，最终选择Lustre文件系统作为软件部分，由于Lustre文件系统本身无数据安全机制，必须构建于稳定的磁盘阵列之上，通过硬件的稳定性来解决数据的安全性。硬件层
扩展云中的高性能并行文件系统
weixin_44450143的博客
01-12 604
本文首发于HPC365官网：HPC365——超算的云桌面 摘要 在通向亿亿次计算的道路上，高性能并行文件系统是一个不可或缺的基础设施，可以使研究工作得以扩展。在全球的超级计算网站中，包括Lustre，BeeGFS和Gluster。以便在一系列环境（特定公共云和学术云）中可扩展地部署和调整每个并行文件系统，以探索用于高性能工作流的混合或纯云解决方案的可行性。这项工作将使这些系统符合一系列存储基准，包...
lustre安装配置部署
02-27
cook book for lustre.
Lustre 性能测试方法
swany的专栏
09-15 2112
1. 单个裸设备性能测试：/usr/bin/sgpdd-survey 安装包：sg3_utils, 包含了sgpdd-survey需要的命令”sg_map” 注意： 对大分区，sg_readcap会报一行错误，然后给出结果，这个错误会导致spgdd-survey报错 #
Lustre部署
weixin_41558221的博客
05-27 1224
注：在multipath组的任一节点均可执行格式化操作，无需重复执行。一组服务器分节点挂载，以负载分担。
集群并行文件系统Lustre部署
刘爱贵的专栏
03-21 7051
liuben Normal liuben 2 180 2006-10-11T09:07:00Z 2006-10-11T09:07:00Z 4 1320 3566 cc-ihep 142 104 9245 9.2812 7.8 磅 0 2
单机Lustre的安装和部署
qq_50844042的博客
08-03 2726
OST为OSS提供存储空间，用于存储文件数据，用户的文件数据存储在一个或多个对象中，每个对象存放在Lustre文件系统单独一个OST上，每个文件的对象数可根据特定工作负载调整以获得最佳性能。通常使用RAID5或RAID6。MGS负责维护集群信息，当不涉及集群变更时，MGS服务异常不会影响到已有业务读写，当配置多个MGS时，同一时刻只能有一个MGS处于活动状态（其余MGS处于备用状态），使用同一个底层数据（同一MDT）运行Lustre客户端软件的节点，挂载Lustre文件系统，提供集群存储读写入口。
Lustre文件系统全攻略：官方手册及架构解析
Lustre是一个开源的、大规模并行分布式文件系统（Parallel Distributed File System），它设计用于处理大量的数据和输入/输出操作，广泛应用于高性能计算（High-Performance Computing, HPC）领域，尤其是在需要存储...
lustre的安装
sqlora的专栏
05-07 2754
项目背景介绍 本次项目目的在于构建一个具有高性能、支持高并发读写、文件共享的存储系统。Lustre在HPC领域被广泛使用，本次项目建设也是在调研了其他诸多文件系统之后，最终选择Lustre文件系统作为软件部分，由于Lustre文件系统本身无数据安全机制，必须构建于稳定的磁盘阵列之上，通过硬件的稳定性来解决数据的安全性。 硬件层面可以从两个方面来保证数据的安全性。 RAID组 节点冗余 这里节点冗余包括MDS和OSS节点，2个MDS节点互为active/stanby模式，两个OSS节点均为active
[Lustre] 基于ldiskfs存储的多机集群部署
最新发布
分布式存储随笔
09-30 1137
本文详细介绍如何在almalinux8.9上部署基于ldiskfs的lustre容灾集群。
Lustre2.4安装部署
03-12
写该文档的最直接的原因是有网友说网上很难找到 lustre 的部署文档，我曾答应说要给 他整理出一个， 所以就~~~ 其实也是， 目前 lustre 想找一个安装部署文档确实很困难，哪怕是英文的也好。 网上流 行为数不多的 lustre 的资料是 09 年以及 10 年时期的资料，那还是 1.X 的年代。 比较完全的 资料是 1.8 版的安装部署过程，但现在最新的 lustre 已经更新到 2.5.1 了。 造成 lustre 的资料难以查找的直接原因是 lustre 的命运太过于坎坷。 从 1999 年 lustre 项目起， 他的版权所有者就在不断的变换，从 lustre 项目组到 Sun 公司到 Oracle 再到 Whamclound， 最终被因特尔收购。 一直都没有一个稳定的社区提供很完整的资料。 最主要 的是 lustre 的安装过程还比较复杂，因此导致了国内很多想研究它的人都望而却步。 并且很 多人使用的 lustre 还是当年的 1.8 版。 好吧，既然如此我就整理出一个 lustre 的安装过程出来， 版本呢是 2.4 的，也算是比较 新比较稳定的一个版本。 希望能够给大家带来一点点帮助！
Lustre介绍、安装和配置（2）
09-27
本文是本人在调研Lustre文件系统时的总结。
Lustre介绍、安装和配置过程
09-27
本文档是本人在调研Lustre文件系统式时的总结！
Lustre1.6.2文件系统的安装配置
05-29
Lustre is a shared disk file system, generally used for large scale cluster computing. The name Lustre is a portmanteau of Linux and cluster. The project aims to provide a file system for clusters of tens of thousands of nodes with petabytes of storage capacity, without compromising speed or security. Lustre is available under the GNU GPL.Lustre is designed, developed and maintained by Sun Microsystems, Inc. with input from many other individuals and companies. Sun completed its acquisition of Cluster File Systems, Inc., including the Lustre file system, on October 2, 2007, with the intention of bringing the benefits of Lustre technologies to Sun's ZFS file system and the Solaris operating system.Lustre file systems are used in computer clusters ranging from small workgroup clusters to large-scale, multi-site clusters. Fifteen of the top 30 supercomputers in the world use Lustre file systems, including the world's fastest supercomputer, the Blue Gene/L at Lawrence Livermore National Laboratory (LLNL). Other supercomputers that use the Lustre file system include systems at Oak Ridge National Laboratory, Pacific Northwest National Laboratory, and Los Alamos National Laboratory in North America, the largest system in Asia at Tokyo Institute of Technology, and the largest system in Europe at CEA.Lustre file systems can support up to tens of thousands of client systems, petabytes (PBs) of storage and hundreds of gigabytes per second (GB/s) of I/O throughput. Businesses ranging from Internet service providers to large financial institutions deploy Lustre file systems in their datacenters. Due to the high scalability of Lustre file systems, Lustre deployments are popular in the oil and gas, manufacturing, rich media and finance sectors.
基于 iwarp下的lustre性能测试
当你感觉累的时候，证明你正在走上坡路！
04-12 6105
近期在做集群网络的升级方案，涉及到网络设备有交换机、线缆、网卡。过程中测试了不少网络厂商的设备，这里主要记录下在测试Chelsio网卡时的一些问题。 测试内容：网卡带宽 网卡延迟（TCP/iwarp） lustre on iwarp网卡带宽和延迟这里不做过多介绍，这个测试起来比较简单，直接跑下iperf和ib_write测试工具即可；这里主要记录下如何在lustre上启用iwarp。测试环境直接上图
Lustre2.4安装部署文档
枫之谷-技术园
11-06 1812
该文档为实实在在的原创文档，转载请注明：http://blog.sina.com.cn/s/blog_8c243ea30101mz8a.html 类型 详细 备注 该文档是以主要用于lustre2.4版本的系统安装部署指导，此外对应版本的所有安装包已经打包在扣扣群中。     相关描述 ²  其他相关文档请参考新浪博客http://blog.si
【Lustre相关】应用部署-03-Lustre集群部署实践（软raid方案）
Luxf0的博客
11-27 3413
以实际项目作为案例，阐述lustre软raid集群部署过程，包含高可用配置方案介绍及常见配置文件解决方法
【Lustre相关】功能实践-01-Lustre集群部署配置
Luxf0的博客
11-28 5913
io500是针对存储性能评测的一个权威国际排行榜，主要包括带宽和元数据性能测试部分，共计十二项严苛的场景测试，该基准使用大文件的读/写带宽和小文件读/写/查询性能来衡量存储性能，这些性能也是影响大数据分析、人工智能、高性能计算的关键因素。 Lustre是一个开源高性能并行文件系统，专注于HPC高性能并行计算场景，几乎占据io500榜单三分之一的位置。 本文主要介绍Lustre集群架构及部署配置说明
Lustre文件系统部署和应用探索
weixin_34179968的博客
10-13 658
1. Lustre文件系统概述 2. Lustre文件系统部署 2.1 基本环境 本篇博客将在KVM虚拟机中部署Lustre文件系统。 操作系统版本为CentOS6.5_x86_64。Lustre软件包版本在官方下载与内核版本2.6.32-431相对应的rpm(包括server和client)等全部的包。 实践思路为创建一个kvm模板主机，在该主机完成lustre文件系统...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值