slover层解读

最新推荐文章于 2022-10-21 11:40:20 发布

转载最新推荐文章于 2022-10-21 11:40:20 发布 · 185 阅读

本文详细解析了一个用于更新平滑损失的函数实现方法。该方法通过维护一个损失历史记录列表来计算平均损失，并据此更新平滑损失。适用于深度学习训练过程中对损失函数的平滑处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

void Solver<Dtype>::UpdateSmoothedLoss(Dtype loss, int start_iter,
    int average_loss) {
  if (losses_.size() < average_loss) {
    losses_.push_back(loss);
    int size = losses_.size();
    smoothed_loss_ = (smoothed_loss_ * (size - 1) + loss) / size;
  } else {
    int idx = (iter_ - start_iter) % average_loss;
    smoothed_loss_ += (loss - losses_[idx]) / average_loss;
    losses_[idx] = loss;
  }
}