线性回归

最新推荐文章于 2024-10-04 23:30:02 发布

hungpn

最新推荐文章于 2024-10-04 23:30:02 发布

阅读量365

点赞数

分类专栏：机器学习算法

本文链接：https://blog.youkuaiyun.com/weixin_42054655/article/details/82317910

版权

机器学习算法专栏收录该内容

3 篇文章

订阅专栏

线性回归是一种预测连续值的模型，通过最小化均方误差来拟合数据。文章介绍了线性回归的模型函数、误差函数，详细解释了最小二乘法的求解过程及其局限性，包括特征过多和计算复杂度问题，并提出了正则化和降维等解决策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归

线性回归，所谓“回归”是相对于“分类”而言的。线性回归中，对于一个输入样本 $x$ ，经过线性回归变换，其预测的输出值是一个连续值。

1 模型函数

f (x) = \sum_{i = 1}^{n} ω_{i} x_{i} + b

$f(x)=\sum_{i=1}^n \omega_i x_i + b$
在线性回归模型中，输入样本 $x$ 表示有n维特征一组输入,

x_{i}

$x_i$ 表示 $x$ 的第

i

$i$ 个分量； $\omega$ 是一个1*n的向量， $\omega$ 中每一个分量

ωi ω i $\omega_i$ ，表示 $x$ 中第

i

$i$ 个特征的的重要性度量(

i i $i$ =1,2,…n)；

b

$b$ 是截距，表示预测值

ωx ω x $\omega x$ 与真实值的差距。可以令

w0=b w 0 = b $w_0=b$ ，

x0=1 x 0 = 1 $x_0=1$ ，简化该模型，即得：

f (x) = \sum i = 0 n ω i x i

$f(x)=\sum_{i=0}^n \omega_i x_i$

用向量形式表示即为：

$f (x) = ω x$ $f(x)=\mathbf{\omega} \mathbf{x}$
确定了 $\mathbf{\omega}$ ,我们就可以确定一个模型。在机器学习中，常常通过大量的已知标签 $\mathbf{y}$ 的数据去学得 $\omega$ 。在学习过程中，我们可能获得一系列的 $\omega$ ，因此可以建立多个线性回归模型，如何判定各个模型的好坏，还需引入误差函数（cost function）。

2 误差函数

线性回归中最常使用的误差函数是均方误差，对已知标签的一组 $m$ 行 $n$ 列数据 $X$ ，每一行表示一个样本，用 $x^{(j)}$ 表示第j行样本，对应的样本标签为 $y_j$ 。数据集 $X$ 的预测结果与真实值的差异定义为：
$J (w) = \sum_{j = 1}^{m} (y_{j} - f (x^{(j)}))^{2} = \sum_{j = 1}^{m} (y_{j} - ω x^{(j)})^{2}$ $J(w)=\sum_{j=1}^m (y_j-f(x^{(j)}))^2=\sum_{j=1}^m (y_j- \omega x^{(j)})^2$
线性回归学习的目标是试图找到一条直线，使所有样本到这条直线的欧氏距离之和最小，即：

$ω * = arg min \sum j = 1 m (y j - ω x (j)) 2$ $\omega^* = \textrm{arg min } \sum_{j=1}^m(y_j - \omega x^{(j)})^2$
通常有两种方法来求使损失函数最小时的 $\omega^*$ , 一种是最小二乘法，一种是梯度下降法。本文仅介绍最小二乘法，关于梯度下降法的知识参见梯度下降

3 最小二乘法

$J(\omega)$ 对 $\omega_i(i=0,1,2 ... n)$ 求导并令导数为0可得： $2\sum_{j=1}^{m}(\omega x^{(j)} - y_j)x_i^{(j)} = 0 \qquad (i=0,1,2,...n)$
我们一共可得n+1个含有n+1元未知数（ $\omega_0 到 \omega_n$ ）的方程组，联立方程组即可求解。

也可以用矩阵的形式进行表述。矩阵形式下误差函数为：
$J (ω) = (y - X ω) T (y - X ω)$ $J(\mathbf{\omega}) = (\mathbf{y}-\mathbf{X \omega})^T(\mathbf{y}-\mathbf{X \omega})$
对 $\mathbf{\omega}$ 求导，并令导数为0可得： $2\mathbf{X}^T(\mathbf{X \omega - y})=0$ , 即 $\mathbf{X\omega=y}$ , 也即 $\mathbf{X}^T\mathbf{X\omega}=\mathbf{X}^T\mathbf{y}$ 。当 $\mathbf{X}^T\mathbf{X}$ 为满秩矩阵或正定矩阵， $\omega^*=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$ 。
当 $\mathbf{X}$ 的列数多于行数， $\mathbf{X}^T\mathbf{X}$ 不满秩，存在多个 $\mathbf{\omega}$ 满足 $\mathbf{X\omega=y}$ ，都能使误差函数最小。这时不能直接运用最小二乘法，我们可以使用梯度下降法或引入正则化项。正则化项最常见的是L1正则化和L2正则化，线性回归引入L1正则化称为Lasso回归，引入L2正则化称为Ridge。

4 最小二乘法回归的局限性

最小二乘法需要计算 $\mathbf{X}^T\mathbf{X}$ 的逆矩阵，当 $\mathbf{X}$ 的列数多于行数（即样本个数小于特征数）它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时可以使用梯度下降法。当然，我们可以通过对样本数据进行降维，去掉冗余特征。让 $\mathbf{X}^T\mathbf{X}$ 的行列式不为0，然后继续使用最小二乘法。也可以引入正则化项，让学习算法对最终求得的解有所偏好。
当样本特征n非常的大的时候，计算 $\mathbf{X}^T\mathbf{X}$ 的逆矩阵非常耗时。
只对拟合函数是线性的有效。

参考阅读：

《机器学习》，周志华著；
http://www.cnblogs.com/pinard/p/5976811.html