机器学习算法——回归算法总结（一）

最新推荐文章于 2025-06-28 18:00:14 发布

qq_16608563

最新推荐文章于 2025-06-28 18:00:14 发布

阅读量1.4w

点赞数 3

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/qq_16608563/article/details/82773676

本文介绍了回归算法的基础知识，包括线性回归、局部加权回归。线性回归通过最小二乘法求解，而局部加权回归利用权重矩阵和核函数对附近点赋予更高权重，解决欠拟合问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习算法——回归算法总结（一）

回归算法与分类算法都属于监督学习算法，不同的是，分类算法中标签是一些离散值，代表不同的分类，而回归算法中，标签是一些连续值，回归算法需要训练得到样本特征到这些连续标签之间的映射。
1.线性回归
2.局部加权回归
3.岭回归
4.Lasso回归
5.CART回归树

一线性回归：
线性回归是一类重要的回归问题，在线性回归中，目标值和特征之间存在线性相关的关系
在这里插入图片描述
1 基本的线性回归
线性回归模型一般有如下的线性回归方程：
y = b + $∑i=1nwixi\displaystyle\sum_{i=1}^{n}w_ix_i$ 其中b为偏置， $w_i$ 为回归系数。对于上式令 $x_0$ =1 可以写成 y= $∑i=0nwixi\displaystyle\sum_{i=0}^{n}w_ix_i$
2 线性回归模型的损失函数
线性回归的评价是指如何度量预测值与标签之间的接近程度。线性回归模型的损失函数可以是绝对损失和平方损失
其中，绝对损失为 l = |y - $y^*$ | 其中 $y^*$ 为预测值，且 $y∗=∑i=0nwixiy^*=\displaystyle\sum_{i=0}^{n}w_ix_i$
平方损失函数：l = $y - y^*)^2$
由于平方损失处处可导，通常使用平方误差作为线性回归模型的损失函数。
假设有m个样本，每个样本有n-1个特征，则平方误差可表示为：
l=0.5* $∑i=1m(y(i)−∑j=0n−1wjxj(i))2\displaystyle\sum_{i=1}^{m}(y^{(i)}-\displaystyle\sum_{j=0}^{n-1}w_jx_{j}^{(i)})^2$