25、云存储分层优化与去中心化联邦学习计算连续体框架

云存储分层优化与去中心化联邦学习计算连续体框架

云存储分层优化

在云存储领域，持续将数据存于单层存储是低效且昂贵的。为解决这一问题，研究人员探索了基于规则的分类方法，该方法通过检查对象元数据和访问模式来优化存储分层。

基于规则的分类方法具有轻量级、独立于行业和平台的特点，在合成数据集上取得了成功。通过使用 λ = α + β + γ 进行优先级分数计算，此方法简单易用。评估显示，该方法可使成本降低近 32%，即便考虑数据迁移成本，成本差异依然显著。

然而，这种方法也存在不足，它缺乏对每次分类反馈的考量，可能导致存储对象的分类不具成本效益。为提升算法性能，研究人员建议引入博弈论对存储对象进行分层分类。

博弈论是一种用于分析群体或系统中个体或代理之间交互和决策策略的数学框架。在多代理系统中，可利用博弈论优化存储层选择。具体可采用多臂老虎机问题的变体，将代理视为臂，存储层视为老虎机。其中一种实现方式是使用汤普森采样算法，这是一种贝叶斯方法。在该算法中，每个代理在存储层上维护一个贝塔分布，分布参数代表选择存储层的成功和失败次数。代理根据分布中采样的最高值选择存储层，并在存储操作完成后，根据系统反馈更新分布。若存储成本低于分布的预期成本，则更新贝塔分布参数以反映成功。

现有的相关工作主要聚焦于冷热两层存储。热数据访问频繁，需要高性能存储；冷数据访问不频繁，可存储在低成本存储中。不同的研究团队提出了多种优化算法：
- RLTiering ：Liu 等人提出的自动分层系统，利用深度强化学习将数据放置在云存储中最具成本效益的层。他们还提出了随机在线迁移算法进行成本优化。
- Err