2、基于大规模BLOB管理服务的网格文件系统探索

基于大规模BLOB管理服务的网格文件系统探索

1. 背景与需求

在当今众多领域，如核物理、健康、宇宙学等，应用程序产生的数据量越来越大，且数据在地理上分布广泛。因此，在全球范围内存储和访问数据的合适机制变得愈发必要。

网格文件系统，例如LegionFS、Gfarm等，在此背景下展现出了其重要性。它们能够联合大量的分布式存储资源，提供大容量存储，并通过基于文件的存储方式实现良好的数据持久性。此外，网格文件系统通过共享文件命名空间的抽象，提供了对数据的透明访问，这与一些生产网格中使用的显式数据传输方案（如基于GridFTP、IBP）形成了鲜明对比。透明访问极大地简化了应用程序的数据管理，因为应用程序无需显式地定位和跨站点传输数据，而是可以基于全局共享的标识符从任何地方以相同的方式访问数据。然而，在全球范围内实现透明访问也带来了一些与可扩展性和性能相关的挑战，因为文件系统需要承受大量并发、广泛分布的访问压力。

近年来，存储架构正从基于块的接口向基于对象的接口转变。这种转变旨在通过将空间管理等低级功能转移到存储设备或存储服务器，实现可扩展的、自我管理的存储网络。这一转变对当今分布式文件系统的设计产生了直接影响，基于对象的文件系统将数据存储为对象，而非无结构的数据块。据研究，这种转变可能消除近90%的管理工作量，而管理工作量正是限制文件系统可扩展性和性能的主要障碍。

实现基于对象的存储有两种主要方法：
- 基于对象存储设备（OSD）的方法 ：数据对象由一种新型存储设备OSD直接存储和管理。这种方法需要硬件的发展，以便将高级对象操作委托给存储设备。标准的OSD接口由存储网络行业协会（SNIA）的OSD工作组定义，该协议基于S