softmax做激活函数，crossentropy做损失函数时softmax的求导问题

最新推荐文章于 2025-03-18 12:10:32 发布

Mr. HLW

最新推荐文章于 2025-03-18 12:10:32 发布

阅读量1.6k

点赞数

分类专栏：人工智能

本文链接：https://blog.youkuaiyun.com/HLW0522/article/details/82117310

版权

人工智能专栏收录该内容

4 篇文章

订阅专栏

首先crossentropy的定义为

softmax的直观定义（摘于李宏毅教授主页http://speech.ee.ntu.edu.tw/~tlkagk/courses.html）

softmax它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！以手写数字图像识别为例。softmax输出的是一个十维的vector，比如待识别的数字是2，则我们希望的是在索引为2处的值最大，此时y可能是 $\begin{bmatrix} 0.02\\ 0.05\\ 0.8\\ 0.01\\ 0.01\\ 0.03\\ 0.01\\ 0.02\\ 0.05\\ \end{bmatrix}$ 而y_hat为

$\begin{bmatrix} 0\\ 0\\ 1\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ \end{bmatrix}$ ，虽然Loss是求和的形式，但由于y_hat中只有一个数字为1，其他都为0,所以Loss其实是等于 $-Iny_{r}$ (r是y_hat中1的索引)

在Backpropagation中我们需要求 $\LARGE ^{\frac{\partial C}{\partial z^L}}$ ，其中 $\LARGE z^L$ 为 $[ Z^L_{1},Z^L_{2}... Z^L_{10} ]$ ，分别对10个变量求偏导即可，对 $Z^L_{i}$ 求偏导需要分i=r与i≠r两种情况 $\LARGE \fn_cm \LARGE ^{\frac{\partial C}{\partial z^L_{i}}} = ^{\frac{\partial C}{\partial y_{r}}}*^{\frac{\partial y_{r}}{\partial z^L_{i}}}$