卷积神经网络系列之softmax loss对输入的求导推导

我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点的来龙去脉，希望不仅帮助自己巩固知识，也能帮到他人理解这些内容。

这一篇主要介绍softmax loss对输入的求导（或者叫cross entropy loss function对输入的求导），算是网络里面比较难懂的一块内容，公式较多，但是很容易看懂，需要静下心来看。

接下来我会先介绍softmax对输入求导的推导过程，然后给出softmax loss对输入的求导推导。

先推导softmax对输入的求导：
回顾下：卷积神经网络系列之softmax，softmax loss和cross entropy介绍的softmax，就是下面这个公式：

N表示类别数，a表示全连接层的输出向量，aj表示向量a的第j个值。

那么如果将Si对aj求导，就是下面这个式子：