机器学习及实战——线性回归

最新推荐文章于 2025-05-29 11:00:00 发布

keithic

最新推荐文章于 2025-05-29 11:00:00 发布

阅读量765

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习线性回归 sigma

本文链接：https://blog.youkuaiyun.com/keithic/article/details/81280991

线性回归（Linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。其实，还有梯度下降法、坐标轴下降法、最小角回归法等。

1.线性回归函数

线性回归遇到的问题一般是这样的。我们有m个样本，每个样本对应于n维特征和一个结果输出，如下：

　　　　 $(x_1^{(0)}, x_2^{(0)}, ...x_n^{(0)}, y_0), (x_1^{(1)}, x_2^{(1)}, ...x_n^{(1)},y_1), ... (x_1^{(m)}, x_2^{(m)}, ...x_n^{(m)}, y_n)$

　　　　我们的问题是，对于一个新的 $(x_1^{(x)}, x_2^{(x)}, ...x_n^{(x)},$ 他所对应的 $y_x$ 是多少呢？如果这个问题里面的y是连续的，则是一个回归问题，否则是一个分类问题。

　　　　对于n维特征的样本数据，如果我们决定使用线性回归，那么对应的模型是这样的：

　　　　 $h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n},$ 其中 $\theta_i (i = 0,1,2... n)$ 为模型参数， $x_i (i = 0,1,2... n)$ 为每个样本的n个特征值。这个表示可以简化，我们增加一个特征 $x_0 = 1$ ，这样 $h_\theta(x_0, x_1, ...x_n) = \sum\limits_{i=0}^{n}\theta_{i}x_{i}$ 。