线性回归、最小二乘

目录

一，一元一次线性回归

1，回归模型

2，最小二乘法

3，矩阵表示法

二，多元线性一次回归

1，回归模型

2，超定方程组

3，正规方程组

4，最小二乘解

三，一元线性m次回归

四，多元线性回归

1，多元线性回归

2，损失函数

3，损失函数的最小值

---

一，一元一次线性回归

1，回归模型

2，最小二乘法

首先把整体偏离程度表示为：

配方法求出Q取最小值时的a和b的值为：

3，矩阵表示法

给定n维列向量x和y，求a,b使得y-bx-a的模取得最小值。

用超定方程组表示：

\begin{pmatrix} x_1 &1 \\ \vdots & \vdots \\x_n & 1 \end{pmatrix}
\begin{pmatrix} b\\ a \end{pmatrix}=
\begin{pmatrix} y_1  \\ \vdots  \\y_n  \end{pmatrix}

 

 先把x和y都减去均值再单位化，然后b的最小二乘解即可表示为b=x^Ty,a=0

 

二，多元线性一次回归

1，回归模型

m元线性一次回归模型：

y=\sum_{i=0}^m b_ix_i

其中x0 = 1 

2，超定方程组

\begin{pmatrix} x_{0_1}&x_{1_1} &...&x_{m_1} \\ \vdots & \vdots & \vdots & \vdots 
\\x_{0_n}&x_{1_n} &...&x_{m_n} \end{pmatrix}
\begin{pmatrix} b_0\\ \vdots \\ b_m \end{pmatrix}=
\begin{pmatrix} y_1  \\ \vdots  \\y_n  \end{pmatrix}

m是自变量（样本属性）的数量，n是样本的数量，n>m

设左边的矩阵为A，则要求解的超定方程组是Ab=y，而超定方程组一般是无解的，所以实际上求解目标是求列向量b，使得y-Ab的模最小。

我们把这个解成为超定方程组的最小二乘解。

3，正规方程组

可以证明，超定方程组的最小二乘解满足正规方程组：

A^TAb=A^Ty

4，最小二乘解

若A是列满秩矩阵（即A^TA是可逆矩阵），则正规方程组有唯一解：

b=(A^TA)^{-1}A^Ty

 

三，一元线性m次回归

\begin{pmatrix} 1&x_1 &...&x_1^m \\ \vdots & \vdots & \vdots & \vdots 
\\1&x_n &...&x_n^m \end{pmatrix}
\begin{pmatrix} b_0\\ \vdots \\ b_m \end{pmatrix}=
\begin{pmatrix} y_1  \\ \vdots  \\y_n  \end{pmatrix}

 求解这个正规方程组即可。

四，多元线性回归

对于更广泛的多元线性回归，也可以使用最小二乘法，求出各参数的取值。

1，多元线性回归

m元线性回归可以表示成，用m个线性无关的函数（不仅限于多项式），来做曲线拟合。

拟合曲线：

这其实可以看成关于a1,a2...am的m元一次线性函数，所以这叫做m元线性回归。

2，损失函数

假设一共有k个点，那么损失函数可以表示成：

这种用平方表示损失函数的方法，就叫最小二乘法。

L是关于a1,a2...am的m元函数。

3，损失函数的最小值

要求出m个ai的值，使得损失函数L取到最小值。

很明显，L取最小值时，L关于a1,a2...am的偏导都是0，于是就有了m个方程：

变形：

继续变形：

于是可以用线性代数直接得到解：

PS：分子其实就是把分母右边的φj(xi)换成了yi，分子分母都是k个矩阵求和之后再求行列式。