Cross Entropy Loss with Softmax的求导

一个复杂的公式，最后求导的结果极为精简，被设计者的智慧折服。
思路，利用链式法则，先对交叉熵函数求导，在求出Softmax的导数，代入即可。

1. Softmax的求导
   

   $$p_{i}=\frac{e^{a_{i}}}{\sum e^{a_{k}}}$$
   $$\frac{\partial p_{i}}{\partial a_{i}} = \begin{cases} p_{i}(1-p_{j}), & \text{if $i=j$} \\ -p_{i}p_{j}, & \text{if $i \neq j$} \end{cases}$$
   • 其中$p_{i}$是Softmax函数，$a_{i}$是输入到Cross Entropy Loss with Softmax的上一层的输出值(激活值)。
   • Softmax的导数做了构造，很巧妙地构造出$p_{i}$的导数只由$p_{i}$和$p_{j}$组成。

2. Cross Entropy Loss的求导
   

   $$Loss=-\sum _{k}y_{k}log(p_{k})$$
   $$\frac{\partial L}{\partial a_{i}}=-\sum _{k}y_{k} \frac{1}{p_{k}}\cdot \frac{\partial p_{k}}{\partial a_{i}}$$
   • 其中$y_{i}$是对应的one hot label.

3. Cross Entropy Loss with Softmax的求导
   将Softmax的导数，代入Cross Entropy Loss的导数，处理$\frac{\partial p_{k}}{\partial a_{i}}$时，要分别考虑$k=i$和$k\neq i$的情况，利用one hot label的性质，可得。

$$\frac{\partial L}{\partial a_{i}}=p_{i}-y_{i}$$

这是一个相当简洁的结果。