StarGFS并行文件系统介绍

需求背景

集群/分布式架构给企业带来灵活的计算处理能力的同时，也给企业带来了新的问题。当计算集群中业务高并发的对数据进行访问时，如果数据不能够被快速的获取和共享将会严重影响业务运转效率，耗费大量CPU/GPU计算资源。从集群化的趋势中可以看出企业也需要一个具备灵活扩展和高效数据IO能力的大规模存储平台匹配强大的集群计算处理能力。

云计算时代的诸多应用场景具有传统存储方案在设计时并未考虑到的独特特征，包括大型文件、海量零碎小文件、高吞吐量、高IOPS要求、读取密集型访问方式以及大量并发、容量增长迅速访问。特别是对于互联网、流媒体、高性能计算、能源、生物、金融等数据密集型、高并发访问的行业用户来说，容量与性能的线性扩展需求是传统存储方案不可逾越的鸿沟。

并行文件系统发展趋势

并行文件系统系统通过由若干个存储系统组成的集群，能够让企业在兼顾性价比的同时轻松实现性能与容量的在线无缝扩展，还有效解决了文件共享的效率问题。

长期以来，系统设计师一直在寻求提高文件系统的性能，事实证明，文件系统对极其广泛的应用程序的总体性能至关重要。尤其是科学和高性能计算社区推动了分布式存储系统的性能和可扩展性的进步，预计几年后会有更多的通用需求。

未来体系结构基于这样一个假设：PB级系统是动态的、大型系统不可避免地以增量的方式构建、节点故障是常态而不是例外、工作负载和特性随着时间的推移不断变化。该体系结构的主要目标是可伸缩性（达到数百PB甚至更高）、性能和可靠性。可伸缩性可以从多个方面考虑，包括系统的总体存储容量和吞吐量，以及单个客户端、目录或文件的性能。目标工作负载可能包括这样的极端情况，即数万或数十万个主机同时读取或写入同一文件，或在同一目录中创建文件。这种场景在超级计算集群上运行的科学应用程序中很常见，越来越显示出未来的常规工作负载。更重要的是，我们认识到分布式文件系统工作负载本质上是动态的，随着活动应用程序和数据类型的变化，数据和元数据访问会发生显著变化。

并行文件系统直接解决了可伸缩性问题，同时通过三个基本设计特性实现了高性能、可靠性和可用性：解耦数据和元数据、动态分布式元数据管理和可靠的智能分布式存储。

StarGFS并行文件系统简介

星实StarGFS是领先的基于POSIX文件系统接口的并行集群文件系统，意味着不必重写或修改应用程序来利用StarGFS。它的开发非常注重最大的性能和可扩展性，高度的灵活性，并且设计考虑了健壮性和易用性。

StarGFS客户端通过高速网络的连接与存储服务器进行通信，访问文件系统内的数据。StarGFS通过在多个存储服务器上透明地分布用户数据，当增加系统中服务器和硬盘的数量，所有硬盘和所有服务器的容量和性能都聚合在一个文件系统名字空间中。从而文件系统的性能和容量就可以轻松地扩展到特定业务所需的量级，也可以在以后系统投入生产时进行在线扩展。

StarGFS文件系统的可伸缩性减少了部署许多独立文件系统的需要，例如每个集群部署一个文件系统，或者更糟的是每个NFS文件服务器部署一个文件系统。StarGFS的统一名字空间将带来强大的存储管理优势，例如避免维护在多个文件系统上暂存的数据的多个副本。由于这个原因，它们使用StarGFS文件系统所需的聚合存储比使用其他解决方案所需的要少得多。通过将文件系统容量与许多服务器聚合在一起，还可以聚合I/O吞吐量，并随其他服务器扩展。此外，通过动态添加服务器，可以在安装集群后轻松地调整吞吐量或容量。

StarGFS并行文件系统组成

StarGFS并行文件系统包含三种系统模块：可用于访问文件系统的文件系统客户端、提供文件I/O服务的智能存储节点和管理文件系统中的名称和目录的元数据节点。下图显示了一个具有StarGFS文件系统的集群。

StarGFS将用户文件块中分离出元数据：文件块由智能存储服务器来提供，包含用户想要存储的数据（即用户文件内容）；而元数据是“关于数据的数据”，例如访问权限、文件大小以及关于用户文件块如何分布在存储服务器上的信息。一旦客户端获得了特定文件或目录的元数据，它就可以直接与智能存储服务通信来存储或检索文件块，因此元数据服务不再参与读或写操作。

StarGFS面向所有需要大型和/或快速文件存储的应用场景。虽然StarGFS最初是为高性能计算而开发的，但如今它几乎应用于工业和研究的所有领域，包括但不限于：人工智能、生命科学、石油天然气、金融、音视频媒体、影像档案。无缝可伸缩性的概念还允许快速（不规则或不可预测的）增长的用户很容易适应他们随着时间的推移所面临的情况。

举报/反馈