Softmax回归求导公式推导

本文详细推导了Softmax回归模型的计算过程及交叉熵损失函数的梯度计算方法,包括线性加权、概率计算、损失函数定义及其偏导数计算,并给出了偏导数的矩阵表达形式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原来推导过,但是好像没有推导清楚,看了别人博文,感觉其推导有误,重新推导一下(以MNIST手写数字图片数据尺寸为例),练练脑力!

1. Softmax回归计算公式

1)线性加权

Oj=i=1784WijXij=1,...,10

2)softmax计算概率
yj=exp(Oj)10k=1exp(Ok)j=1,...,10

3)交叉熵
L(y)=j=110y^jlogyj

4)偏导数
LWij=LOjOjWij=LOjXi

LOj=k=110LykykOj=k=110y^k1ykykOj

ykOj=exp(Ok)OkOj10m=1exp(Om)exp(Ok)exp(Oj)[10m=1exp(Om)]2

ykOj=ykOkOj10m=1exp(Om)exp(Oj)10m=1exp(Om)=ykOkOjykyj

LOj=k=110y^kOkOjk=110y^kyj=y^jyj

偏导数的矩阵表达形式为:

LW=(Y^Y)TX

其中:
Y^的维度为1×10
X的维度为1×784
LW的维度为10×784
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值