【caffe源码研究】第三章：源码篇(13) ：损失层

最新推荐文章于 2019-07-02 22:07:57 发布

原创最新推荐文章于 2019-07-02 22:07:57 发布 · 855 阅读

0 ·

CC 4.0 BY-SA版权

Deep Learning 同时被 2 个专栏收录

46 篇文章

订阅专栏

Caffe

33 篇文章

订阅专栏

本文详细介绍了欧拉损失的原理及其实现过程。包括损失层的基本概念、欧拉损失的数学公式推导及其在网络中的前向传播与反向传播的具体实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在训练阶段有损失层，损失层需要两个输入的Blob，一个是网络的预测值，一个是真实的标签。

基类LossLayer，其他的loss继承自这个类。

这里以欧拉损失为例来说明

原理

欧拉损失

E = 1 2 N \sum n = 1 N | | y n - y ‘ n | | 2

$E=\frac{1}{2N}\sum^{N}_{n=1}||y_n-y_n^`||^2$

前向传播

top：（1×1×1×1）维的欧氏距离损失 $E=\frac{1}{2N}\sum^{N}_{n=1}||y_n-y_n^`||^2$

反向传播

反向计算微分 $E=\frac{1}{N}\sum^{N}_{n=1}(y_n-y_n^`)$

代码如下

Forward_cpu

template <typename Dtype>
void EuclideanLossLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
    const vector<Blob<Dtype>*>& top) {
  int count = bottom[0]->count();
  caffe_sub(
      count,
      bottom[0]->cpu_data(),
      bottom[1]->cpu_data(),
      diff_.mutable_cpu_data());//diff_ = bottom[0] - bottom[1]
  Dtype dot = caffe_cpu_dot(count, diff_.cpu_data(), diff_.cpu_data());  // dot = ||diff_||^2
  Dtype loss = dot / bottom[0]->num() / Dtype(2);//输出的loss
  top[0]->mutable_cpu_data()[0] = loss;
}

Backward_cpu

template <typename Dtype>
void EuclideanLossLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom) {
  for (int i = 0; i < 2; ++i) {
    if (propagate_down[i]) {//对于输入的label bottom propagate_dowm 为0
      const Dtype sign = (i == 0) ? 1 : -1;//由于diff_ = bottom[0] - bottom[1]
      const Dtype alpha = sign * top[0]->cpu_diff()[0] / bottom[i]->num();
      caffe_cpu_axpby(
          bottom[i]->count(),              // count
          alpha,                              // alpha
          diff_.cpu_data(),                   // a
          Dtype(0),                           // beta
          bottom[i]->mutable_cpu_diff());  // b
    }//bottom[i]->mutable_cpu_diff()) = alpha*diff_.cpu_data()
  }
}