机器学习实战 第八章 预测数值型数据:回归(Regression)

本文深入探讨回归技术,从线性回归开始,讲解如何找到最佳拟合直线,然后介绍局部加权线性回归(LWLR)以改善欠拟合。接着,讨论缩减方法,包括岭回归、lasso和前向逐步回归,以平衡偏差和误差。最后,分析了在机器学习中权衡偏差与误差的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

首先介绍线性回归,然后引入局部平滑技术,更好地拟合数据。接着探讨回归在“欠拟合”情况下的缩减(shrinkage),探讨偏差和方差的概念。

一、用线性回归找到最佳拟合直线

优点:结果已于理解,计算上并不复杂。
缺点:对非线性的数据拟合不好。
使用数据类型:数值型和标称型。

回归方程(regression equation),回归系数(regression weights),求回归系数的过程就是回归。说到回归,一般都是指线性回归(linear regression),还存在非线性回归模型。

假定输入数据存放在矩阵X中,而回归系数存放在向量 w 中,那么对于给定的数据X1,预测结果将会通过Y1=XT1w。现在的问题是,手里有一些x和对应的 y ,如何找到w呢?常用的方法是找到使误差(一般采用平方误差,否则正负误差会相互抵消)最小的 w 。平方误差可写作:

i=1m(yixTiw)2

用矩阵表示还可以写成(YXw)T(YXw),如果对w求导,得到XT(YXw),令其等于零,解出w如下(这里的 w^

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值