机器学习——线性建模最小二乘法

1-1  线性建模

首先,通过一个实际的例子来考虑机器学习最直接的学习问题——线性建模:在属性与响应之间学习的线性关系。

其基本形式为:    

一般用向量形式写成:  

其中W=(w1;w2;w3;.....wd)  ,W和b学得之后,模型就得以确定。线性模型形式简单、易于建模,但却蕴含着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射而得。

1-2 线性回归

给定数据集,其中

“线性回归”试图学得一个线性模型以尽可能准确地预测实值输出标记。形式化为:使得

其结果越接近真实值,我们就说这个模型越好。但是如何确定W和b呢? 显然在于如何衡量f(x)与y之间的差别。这里可以使用平方损失(亦可称作均方误差)度量回归任务中的性能,并试图让平方损失误差最小化,即损失函数L(w,b)最小化:

   

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值