最小二乘在机器学习中的使用

本文介绍了最小二乘法在机器学习中的使用,通过一元线性模型Y= ax + b作为例子,阐述了损失函数和权重更新的原理。作者提供了代码示例,展示了如何用最小二乘法进行训练,并分享了不同迭代次数下的效果,证明HOG特征与最小二乘结合能提高分类准确性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最小二乘一些复杂的公式,原理啥的我就不多说了...

直接入题: (因为符号不知道怎么打,下面的推导内容网上也找不到,所以打不出来的我全手写的)

在表达两个变量之间的关系时,有一元线性模型: Y= ax + b, 也有二次函数模型: Y = a1X2 + a2X  + b ...等等

这里就说最简单的 Y = ax + b

最小二乘法是以实际值与目标值的差的平方和作为损失函数的,

损失函数公式: 


以上公式就是损失函数,其中的系数1/2没有实际意义,就是为了下面的推导可以把系数抹除掉.

其中的 Y = ax + b,  

x 为输入的图片特征数组,比如我上一篇博客中,Hog特征提取,详细步骤及源码 最后输出的特征大数组即可用于X的输入.

a 为输入的各个特征的权重.

a 和 x 都是多维的, b 可以看成是 a0*1

其中的 T 就是目标值,这个目标值是已知的,得自己输入.


上面说了 a 是各个特征对应的权重,简单点就是说一张图片里面表示的识别物体的特征的权重就会高,背景什么的权重就会低,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值