softmax函数及交叉熵函数求导

softmax函数

这里以神经网络多分类问题为例，假设输出层有$n$个神经元，输出为$z_1,z_2,...,z_n$，经过softmax函数后的输出为$a_1,a_2,...,a_n$，$a_i$的计算公式为：
$$a_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$$

交叉熵损失函数

假设真实标签为$y_1,y_2,...,y_n$，由于是分类问题，因此$y_i$的取值为0或1，并且${\sum }_{i=1}^n{y}_i=1$。则交叉熵损失函数为：
$$L(\mathbf{a},\mathbf{y})=-\sum _i^n{y}_i\ln a_i$$

求导

下面详细介绍损失函数对$z_i$的导数求解过程。
根据链式求导可知，
∂L∂zi=∑j∂L∂aj∂aj∂zi\frac{\partial L}{\partial z_i}=\sum_j \frac{\partial L}{\partial a_j}\frac{\partial a_j}{\partial z_i}∂zi​∂L​=