机器学习4. 交叉熵损失函数与softmax回归的反向传播推导

最新推荐文章于 2025-01-21 23:35:55 发布

xd_ljq

最新推荐文章于 2025-01-21 23:35:55 发布

阅读量848

点赞数

CC 4.0 BY-SA版权

文章标签：交叉熵 softmax 反向传播

本文链接：https://blog.youkuaiyun.com/weixin_38333786/article/details/89307451

在多分类问题中，一般选取softmax作为分类器，交叉熵作为损失函数。他们的形式都很简单，但是在BP的时候还是有些复杂，现在总结如下：

交叉熵损失函数

$(1)C(a,y)=−∑iyilnaiC(a,y)=-\sum_i{y_i ln a_i} \tag{1}$

softmax逻辑回归

第 $i$ 个输出值 $a_i$ 为：
$(2)ai=ezi∑kezka_i=\frac{e^{z_i}}{\sum_ke^{z_k}} \tag{2}$

结论

$(3)∂C∂zi=ai−yi\frac{∂C}{∂z_i} = a_i−y_i \tag{3}$ 【预测值减真实值】

推导过程

$(4)∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{∂C}{∂z_i} =\sum_j(\frac{∂C_j}{∂a_j} \frac{∂a_j}{∂z_i} ) \tag{4}$
【因为 $z_i$ 总会出现在分母中，所以会对所有的 $a_j$ 产生影响，每个 $a_j$ 都会有一个损失值 $C_j$ (1式)】