caffe源码——Euclidean Loss是怎么实现的

最新推荐文章于 2019-06-20 09:43:40 发布

qq924178473

最新推荐文章于 2019-06-20 09:43:40 发布

阅读量1.7k

点赞数

分类专栏：深度学习-理论深度学习-实践文章标签： caffe Euclidean Loss

本文链接：https://blog.youkuaiyun.com/h_jlwg6688/article/details/71453590

版权

深度学习-实践同时被 2 个专栏收录

22 篇文章

订阅专栏

深度学习-理论

18 篇文章

订阅专栏

引用：

http://blog.youkuaiyun.com/fangjin_kl/article/details/54131144

损失函数：

$E=\frac{1}{2N}\sum_{n=1}^{N}\left \|y_{n}-y_{n}^{`} \right \|^{2}$

对 $y_{n}$ 的偏导： $\frac{y_{n}-y_{n}^{,} }{N}$

对 $y_{n}^{`}$ 的偏导：- $y_{n}$

forward_cpu：

template <typename Dtype>
void EuclideanLossLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
    const vector<Blob<Dtype>*>& top) {
  int count = bottom[0]->count();
  caffe_sub(
      count,
      bottom[0]->cpu_data(),
      bottom[1]->cpu_data(),
      diff_.mutable_cpu_data());//diff_ = bottom[0] - bottom[1]
  Dtype dot = caffe_cpu_dot(count, diff_.cpu_data(), diff_.cpu_data());  // dot = ||diff_||^2
  Dtype loss = dot / bottom[0]->num() / Dtype(2);//输出的loss
  top[0]->mutable_cpu_data()[0] = loss;
}

backward_cpu：

template <typename Dtype>
void EuclideanLossLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom) {
  for (int i = 0; i < 2; ++i) {
    if (propagate_down[i]) {//对于输入的label bottom propagate_dowm 为0
      const Dtype sign = (i == 0) ? 1 : -1;//由于diff_ = bottom[0] - bottom[1]
      const Dtype alpha = sign * top[0]->cpu_diff()[0] / bottom[i]->num();
      caffe_cpu_axpby(
          bottom[i]->count(),              // count
          alpha,                              // alpha
          diff_.cpu_data(),                   // a
          Dtype(0),                           // beta
          bottom[i]->mutable_cpu_diff());  // b
    }//bottom[i]->mutable_cpu_diff()) = alpha*diff_.cpu_data()
  }
}

forward_cpu里就是按照损失函数的样式计算损失，并且将损失保存到top[0]->cpu_data()[0]中。其中有用的是计算得到的diff_->cpu_data()。

backward_cpu里的两个for循环就是就是分别计算对 $y_{n}$ 的偏导和对对 $y_{n}^{`}$ 的偏导，其中sign是正负号，用于控制是对 $y_{n}$ 还是对 $y_{n}^{`}$ 求偏导，而top[0]->cpu_diff()[0]是在网络的定义中（即prototxt文件中），loss层的定义中设置的loss_weight：1.0，即top[0]->cpu_diff()[0]=1.0，则alpha就是1/n或者-1/n，而diff_.cpu_data()= $y_{n}$ - $y_{n}^{`}$ ，caffe_cpu_axpby()得到了1*( $y_{n}$ - $y_{n}^{`}$ )/n即对 $y_{n}$ 的偏导，和-1*( $y_{n}$ - $y_{n}^{`}$ )/n即对 $y_{n}^{`}$ 的偏导，并把结果存到bottom[i]->cpu_diff()中，用以传向前面的层。

更多参考：

http://blog.youkuaiyun.com/seashell_9/article/details/68064294