分布式文件系统 分级存储策略研究

本文深入探讨了Lustre文件系统的特性,特别是其内部的元数据管理和Tiering概念的缺失。通过介绍RobinhoodPolicyEngine这一外部工具,解释了如何利用它来实现数据的智能迁移,将长期未使用的文件从Lustre迁移到外部归档设备。同时,对比了Ceph、GPFS等系统在数据管理上的不同策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

lustre :

      在内部并没有做tiering,有个外部工具叫做Robinhood Policy Engine。

      robinhood通过读取lustre的changlog文件,把元数据访问信息导入自己的数据区。

      有了元数据的统计信息,可以设置一定的策略,将一些长期未使用的老文件从lustre迁移到外部的归档设备上。

      robinhood也知道lustre内部的一些信息,例如OST aware。

      代码在Git上有,一个法国公司cea做的,http://github.com/cea-hpc/robinhood

ceph 暂未发现tiering概念

GPFS貌似也跟lustre类似,通过IBM自己的Tivoli工具将内部文件迁移到外部,当然GPFS内部也有一些组件跟数据迁移功能相关。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值