深度学习笔记简单神经网络反向传播的推导

最新推荐文章于 2025-04-09 22:39:11 发布

原创

最新推荐文章于 2025-04-09 22:39:11 发布 · 370 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #参数梯度偏导

本文详细介绍了如何手动推导一个简单神经网络的反向传播过程，涉及模型结构、损失函数和梯度计算。网络包括embedding层、全连接层和softmax输出层。使用交叉熵作为损失函数，并特别讨论了softmax导数和参数梯度的计算。最后给出了Embedding矩阵的梯度表达式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近手推了一下神经网络梯度更新中的参数偏导，做一个笔记。

模型

我们考虑一个非常简单的神经网络，输入embedding后只通过一个全连接层，然后就softmax输出预测值

先只考虑一个样本X，feature有n个维度。embedding层可以视为一个nxN的矩阵，得到Z1的维度被扩展为N，经过relu激活层后输出。然后连接一层有K个神经元的全连接层，权重w是一个NxK的矩阵，b是一个1xK的向量，输出Z3经过softmax层后得到样本属于K个类中类别 $i$ 的概率值 $Y_i$ 。

计算梯度

模型损失函数取简单的交叉熵损失函数： $\sum\limits_{i=1}^{K} y \times lnY}$
其中y是真实值，Y是预测值， $i = 1, 2, 3, . . ., K$ 表示K个分类

计算全连接层输出 ${Z_{3i}}$ 的梯度

$\begin{aligned} \frac{\partial L}{\partial Z_{3i}} = \frac{\partial L}{\partial Y} \times \frac{\partial Y}{\partial Z_{3i}} &= \sum\limits_{j=1}^{K} \frac{\partial L}{\partial Y_j} \times \frac{\partial Y_j}{\partial Z_{3i}} \\ &= \sum\limits_{j=1}^{K} -y_j \times \frac{1}{Y_j} \times \frac{\partial Y_j}{\partial Z_{3i}} \end{aligned}$
计算softmax导数时需要分 ${j = i}$ 和 $\neq i}$ 两种情况考虑，所以这里将L求和中元素令为j，与i加以区分
$i = j$ 时
$\frac{\partial Y_j}{\partial Z_{3i}} = \frac{\partial Y_i}{\partial Z_{3i}} = \frac{\partial }{\partial Z_{3i}} [\frac{e^{Z_{3i}}}{\sum\limits_{k=1}^{K} e^{Z_{3k}}}] = \frac{e^{Z_{3i}} \times \sum\limits_{k=1}^{K} e^{Z_{3k}} - e^{Z_{3i}} \times e^{Z_{3i}}}{(\sum\limits_{k=1}^{K} e^{Z_{3k}})^2} = Y_i(1-Y_i)$