- 博客(2)
- 收藏
- 关注
RSS订阅原创 多分类（Softmax）交叉熵损失函数反向传播推导
上面这一点也提醒我们，多分类交叉熵损失函数只适用于单标签的多分类任务，不适用于该函数训练多标签分类任务（本人惨痛教训），切记。在上一篇随笔中，我提到了多分类（Softmax）交叉熵损失函数反向传播为。注意到，上式右边偏导数的算法取决于。所求的反向传播，实际上是损失函数。因为对于多分类任务，真实值。是否相等，因此我们将上式分开。，但并未证明，现将证明过程附上。是one-hot向量，所以。
2024-06-28 13:30:09
617
原创 关于word2vec中多分类（Softmax）和二分类（Sigmoid）模型的交叉熵损失函数等价的思考
只要两个模型的反向传播相同，那么对于相同的输入神经元，每次学习（更新参数）的梯度相同，两个模型的训练过程即是完全相同的，因此两模型等价。《深度学习进阶：自然语言处理》P143，word2vec的改进章节中说，对多分类和二分类模型的交叉熵损失函数是等价的。可见，二分类模型对于每个选定的神经元x，其反向传播与多分类模型是相同的，因此可以说两个模型是等价的。（详见本书第一章及《深度学习入门：基于 Python 的理论与实现》的附录 A）。由第一章神经网络背景知识我们可以知道，Softmax方法中的反向传播。
2023-09-28 15:10:58
229
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人