对最小二乘的总结

最小二乘法是衡量一个特定模型与数据点接近程度的普遍方法

它是指计算真实数据和预测数据间的平方差

平方保证了所有的结果都是正数,当然也有使用绝对值的


这种方法给我留下的最直观印象是大量的矩阵运算




线性关系


对于直线函数

w0是截距(与t轴)

w1是梯度(斜率)


也有可能是二次的



或高次的


这是一个k阶多项式函数

这个K阶多项式的矩阵形式


函数不限于多项式函数




平方损失函数 square loss function


在整个数据集山的平均损失


矩阵形式


也可以写成



下式能更清晰地展示两种形式间的转换


所以


我们的目标是


所以我们要找的是合适的w


对损失函数求导(寻找拐点)

注意,对于线性关系我们求关于w的各个偏导数



带入上方L的展开式



最后我们得到最小二乘法的公式


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值