首先,相较于传统的全连接网络FNN,在CNN中的BP算法主要有以下几点不同:
1.池化层梯度的反向传播需要解决。
2.卷积层计算梯度的方式有所不同;
3.卷积层使用梯度更新w,b(也就是卷积核)的方式有所不同;
下面一一探讨这三点问题的解决:
1.池化层采用upsample来扩大
δ
l
\delta_l
δl;
2.卷积层计算梯度依然采取卷积的方式(一顿神奇的操作);
3.卷积层的权值更新也采用卷积的方式。