本文详细介绍了softmax cross entropy loss，也就是softmax_loss的数学定义，并且探讨了其梯度计算过程。针对单个样本的loss，导数分为对应目标类别的负一倍和其他类别的softmax值。在实际应用中，例如线性分类器，通过链式法则可以计算loss对权重矩阵W的导数。对于批量样本，只需对每个样本的贡献取平均即可得到整个batch的梯度。
softmax_loss的真正名字应该是softmax cross entropy loss。因为softmax的定义是
f(zi)=softmax(zi)=ezi∑jezjf(z_i)=softmax(z_i)=\frac{e^{z_i}}{\sum_je^{z_j}}f(zi)=softmax(zi)=∑jezjezi， softmax loss的定义是
L=−1N∑i=0NLi=−1N∑i=0Nlogf(zi)L=-\frac{1}{N}\sum_{i=0}^NL_i=-\frac{1}{N}\sum_{i=0}^{N}logf(z_i)L=−N1∑i=0NLi=−N1∑i=0
最低0.47元/天 解锁文章
扫一扫
08-16
1370
1370
05-30
404
404
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
