Softmax回归求导公式推导

最新推荐文章于 2023-07-16 10:09:51 发布

原创最新推荐文章于 2023-07-16 10:09:51 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#softmax #偏导

tensorflow 专栏收录该内容

2 篇文章

订阅专栏

本文详细推导了Softmax回归模型的计算过程及交叉熵损失函数的梯度计算方法，包括线性加权、概率计算、损失函数定义及其偏导数计算，并给出了偏导数的矩阵表达形式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原来推导过，但是好像没有推导清楚，看了别人博文，感觉其推导有误，重新推导一下（以MNIST手写数字图片数据尺寸为例），练练脑力！

1. Softmax回归计算公式

1）线性加权

O j = \sum i = 1 784 W i j * X i j = 1, . . ., 10

$O_j=\sum_{i=1}^{784}W_{ij}*X_i \qquad j=1,...,10$
2）softmax计算概率

y j = e x p ( O j ) \sum 10 k = 1 e x p ( O k ) j = 1, . . ., 10

$y_j=\frac{exp(O_j)}{\sum_{k=1}^{10}exp(O_k)}\qquad j=1,...,10$
3）交叉熵

L (y) = - \sum j = 1 10 y^j log y j

$L(y)=-\sum_{j=1}^{10}\hat{y}_j \log y_j$
4）偏导数

\partial L \partial W i j = \partial L \partial O j \partial O j \partial W i j = \partial L \partial O j X i

$\frac{\partial L}{\partial W_{ij}}=\frac{\partial L}{\partial O_{j}}\frac{\partial O_j}{\partial W_{ij}}=\frac{\partial L}{\partial O_{j}}X_i$

\partial L \partial O j = - \sum k = 1 10 \partial L \partial y k \partial y k \partial O j = - \sum k = 1 10 y^k 1 y k \partial y k \partial O j

$\frac{\partial L}{\partial O_{j}}=-\sum_{k=1}^{10}\frac{\partial L}{\partial y_{k}}\frac{\partial y_k}{\partial O_{j}}=-\sum_{k=1}^{10}\hat{y}_k \frac{1}{y_k}\frac{\partial y_k}{\partial O_{j}}$

\partial y k \partial O j = e x p ( O k ) \partial O k \partial O j \sum 10 m = 1 e x p ( O m ) - e x p ( O k ) e x p ( O j ) [ \sum 10 m = 1 e x p ( O m ) ] 2

$\frac{\partial y_k}{\partial O_{j}}=\frac{exp(O_k)\frac{\partial O_k}{\partial O_j}\sum_{m=1}^{10}exp(O_m)-exp(O_k)exp(O_j)}{\lbrack\sum_{m=1}^{10}exp(O_m)\rbrack^2}$

\partial y k \partial O j = y k \partial O k \partial O j \sum 10 m = 1 e x p ( O m ) - e x p ( O j ) \sum 10 m = 1 e x p ( O m ) = y k \partial O k \partial O j - y k y j

$\frac{\partial y_k}{\partial O_{j}}=y_k\frac{\frac{\partial O_k}{\partial O_j}\sum_{m=1}^{10}exp(O_m)-exp(O_j)}{\sum_{m=1}^{10}exp(O_m)}=y_k\frac{\partial O_k}{\partial O_j}-y_ky_j$

\partial L \partial O j = \sum k = 1 10 y^k \partial O k \partial O j - ⟮ \sum k = 1 10 y^k ⟯ y j = y^j - y j

$\frac{\partial L}{\partial O_{j}}=\sum_{k=1}^{10}\hat{y}_k\frac{\partial O_k}{\partial O_j}-\lgroup\sum_{k=1}^{10}\hat{y}_k\rgroup y_j=\hat{y}_j-y_j$

偏导数的矩阵表达形式为：