21、机器学习训练系统可靠性与效率全解析

机器学习训练系统可靠性与效率全解析

1. 分布式训练中的竞态条件问题

在分布式训练设置中，多个竞态条件是导致训练失败极为常见的原因。然而，对于机器学习生产工程领域而言，目前并没有简单的方法来判断模型是否训练“过快”。有一种实际测试方法，虽不便且令人沮丧，但能在一定程度上进行判断：若以不同速度（通常是使用不同数量的学习任务）训练同一模型，且较慢速度训练的模型在某些质量指标上表现“更好”，那么可能训练速度过快了。

缓解这一问题的主要方法是从结构上限制“正在进行”的更新数量，使任何学习过程所看到的模型状态与存储的模型状态紧密同步。具体操作如下：
- 将模型的当前状态存储在高速存储设备（如 RAM）中。
- 限制多个进程更新模型的速率。

虽然也可以为模型的每个键或每个部分使用锁定数据结构，但由此带来的性能损失通常过高，不建议采用。

2. 资源利用率的重要性

机器学习的训练和服务在计算上成本高昂。关注机器学习训练资源效率的一个基本原因是，若实现方式缺乏效率，机器学习在商业上可能就不具可行性。机器学习模型的商业或组织价值与它所提供的价值成正比，与创建模型的成本成反比。在初期，人力和机会成本是主要开销，但随着数据收集增多、模型训练和使用频率增加，计算机基础设施成本在总支出中的占比会越来越大，因此尽早关注资源利用率十分必要。

资源利用率的计算公式为：
[利用率 = \frac{已使用的计算资源}{已付费的总计算资源}]

它与资源浪费程度相反，衡量了我们对所付费资源的使用效率。在云计算日益普及的当下，这是一个需要尽早跟踪的重要指标。

资源利用率还关乎系统可靠性。与可