BP神经网络四公式解析-优快云博客

一、博客主旨

本着好读书不求甚解的精神，本文只讨论对BP四公式使用的理解，推导请自行百度，给两篇参考博客1，博客2，两者结合效果更佳。

二、大结局

只有能用自己的话解释公式，才算理解了它。 ----鲁迅

BP四公式
缭乱的手推
权重定义看上图。注意：网络层从0开始，权重从1开始（日常迎合公式）。
损失函数使用均方误差，激励函数使用Sigmoid
四公式是向量化的形式，我们看单个神经元怎么计算
- bp1是损失函数一阶导数和激励函数一阶导数的乘积，不考虑复合函数，只求最外层导数
- bp2中权重的i遍历该层神经元，j与等号左边的下标相同

三、番外

本文写于头昏脑涨时，欢迎切磋讨论、批评指正。
俺去写程序验证了，未来一年内肯定上代码。（奸笑）

20200508 上代码

用代码实现时，你才知道有没有真正懂了公式。 ----莎士比亚

void SimpleLayer::BackWard(vector<float> delta) {
  for(int j = 0; j < ic_; ++j) {
    delta_[j] = 0;
  }
  for(int j = 0; j < ic_; ++j) {
    for(int i = 0; i < oc_; ++i) {
      delta_[j] += weight_[i*ic_+j]*delta[i];
      // std::cout << delta[j] << endl;
    }
  }
  // std::cout << "*******Backward*******\n";
  for(int i = 0; i < oc_; ++i) {
    for(int j = 0; j < ic_; ++j) {
      float tmp = input_[j]*delta[i];
      weight_[i*ic_+j] -= lr_ * tmp;
      // std::cout << weight_[i*ic_+j] << endl;
    }
    bias_[i] -= lr_ * delta[i];
    // std::cout << bias_[i] << endl;
  }
}