激活层为softmax时，CrossEntropy损失函数对激活层输入Z的梯度-优快云博客

$∂L∂Z=y^−y\frac{\partial L}{\partial Z}=\hat{y}-y$
其中 $y$ 为真实值，采用one-hot编码， $y^\hat{y}$ 为softmax输出的预测值

$证明：\textbf{证明：}$

根据softmax公式：
$y^i=ezi∑j=1nezj\hat{y}_i=\frac{e^{z_i}}{\sum_{j=1}^ne^{z_j}}$

根据CrossEntropy公式：

$L=−∑i=1nyilogy^i=−∑i=1nyilogezi∑j=1nezj=−yllogezl∑j=1nezj−∑i=1,i≠lnyilogezi∑j=1nezj \begin{align*} L&=-\sum_{i=1}^ny_ilog\hat{y}_i \\ &=-\sum_{i=1}^ny_ilog\frac{e^{z_i}}{\sum_{j=1}^ne^{z_j}} \\ &=-y_llog\frac{e^{z_l}}{\sum_{j=1}^ne^{z_j}}-\sum_{i=1,i \neq l}^ny_ilog\frac{e^{z_i}}{\sum_{j=1}^ne^{z_j}} \end{align*}$

所以
$\begin{align*} \frac{\partial L}{\partial z_l} &=-\sum_{i=1,i\neq l}^ny_i\frac{\sum_{j=1}^ne^{z_j}} {e^{z_i}}\frac{-e^{z_i}e^{z_l}}{(\sum_{j=1}^ne^{z_j})^2}-y_l\frac{\sum_{j=1}^ne^{z_j}}{e^{z_l}}\frac{e^{z_l}\sum_{j=1}^ne^{z_j}-e^{z_l}e^{z_l}}{(\sum_{j=1}^ne^{z_j})^2} \\ &=-\sum_{i=1,i\neq l}^ny_i(\frac{-e^{z_l}}{\sum_{j=1}^ne^{z_j}})-y_l\frac{\sum_{j=1}^ne^{z_j}-e^{z_l}}{\sum_{j=1}^ne^{z_j}} \\ &=-\sum_{i=1,i\neq l}^ny_i(\frac{-e^{z_l}}{\sum_{j=1}^ne^{z_j}})-y_l+y_l\frac{e^{z_l}}{\sum_{j=1}^ne^{z_j}} \\ &=-y_l+\sum_{i=1}^ny_i\frac{e^{z_l}}{\sum_{j=1}^ne^{z_j}} \\ &=-y_l+\frac{e^{z_l}}{\sum_{j=1}^ne^{z_j}}\sum_{i=1}^ny_i \end{align*}$
因为 $y$ 采用one-hot编码，所以
$\begin{align*} \sum_{i=1}^ny_i=1 \end{align*}$