最简洁推导求解最小二乘法(线性回归,监督学习)

本文介绍了如何通过线性回归来求解最佳参数w的方法,使得预测值与真实值之间的差的平方和达到最小。文章详细阐述了损失函数的构成,并通过矩阵微分的方式推导出w的具体计算公式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我们知道当X 为m*n的矩阵 输入,Y为m*1的输出。那么为了求出w

Xw = Y,我们可以用线性回归并让 预测值和真实值的差的平方最小,那么

w


证明过程:


矩阵结构为:


我们发现yTy是一个常数,也就是说在最小化loss的时候,我们可以不管yTy。


我们对loss函数进行偏微分,这里用到了一个矩阵微分公式,在matrix cookbook里有.

第10页。

aTw 就微分为a了 。

第11页

wTBw就微分为 (B + BT)w,而B等于BT,因为  BT = (XTX)T = XT XTT = XTX = B。所以化简为2Bw.


最后把B的代数式代回原式中就行了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值