最小二乘法在回归问题中的应用

最小二乘法在回归问题中的应用

线性回归基础知识

假设我们有样本 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . . ( x n , y n ) } D =\{(x_1,y_1),(x_2,y_2),.....(x_n,y_n)\} D={(x1​,y1​),(x2​,y2​),.....(xn​,yn​)}，其中 $x_i$ 是 $n$ 维向量，也就是第$i$个样本的$n$个特征，而 $y_i$ 就是第 $i$ 个样本的取值。我们需要根据已知的 $D$ 来构建模型，之后当我们有新的 $x_n$ 输入时，根据模型就可以得出 $y_n$ 的预测值。

我们将信息表示的更完整一些：

$x_i=\left[\begin{array}{c}{x}_{i0}\\ x_{i1}\\ ⋮\\ x_{in}\end{array}\right]$ 某一个样本的 $n$ 个特征，

我们把 $p$ 个样本的集合写作： $X={\left[\begin{array}{ccccc}{x}_1& x_2& x_3& \cdots & x_p\end{array}\right]}^T=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& x_{13}& \cdots & x_{1n}\\ x_{21}& x_{22}& x_{23}& \cdots & x_{2n}\\ ⋮& & & & \\ x_{p1}& x_{p2}& x_{p3}& \cdots & x_{pn}\end{array}\right]$

我们的目标就是找到一组参数 $w=\left[\begin{array}{c}{w}_1\\ w_2\\ w_3\\ ⋮\\ w_n\end{array}\right]$和一个偏置 $b$ (数)

可以得：$\left[\begin{array}{ccccc}{x}_{11}\ast w_1& x_{12}\ast w_2& x_{13}\ast w_3& \cdots & x_{1n}\ast w_n\\ x_{21}\ast w_1& x_{22}\ast w_2& x_{23}\ast w_3& \cdots & x_{2n}\ast w_n\\ ⋮& & & & \\ x_{p1}\ast w_1& x_{p2}\ast w_2& x_{p3}\ast w_3& \cdots & x_{pn}\ast w_n\end{array}\right]+b=\left[\begin{array}{c}\stackrel{-}{y_1}\\ \stackrel{-}{y_2}\\ \stackrel{-}{y_3}\\ ⋮\\ \stackrel{-}{y_n}\end{array}\right]$

$w$参数的计算–最小二乘法

最小二乘规定损失函数$L(w)=\sum _{i=1}^n|w^T{x}_i-y_i{|}^2$，我们的目标就是找到 $w$ 使得 $L(w)$ 最小。

那为什么是最小二乘法，而不是三乘法，四乘法呢？

具体的我们可以从几何和概率两个角度来解释。

几何角度

我们来看 $Xw$，是一个向量空间，真实的 $Y$ 向量不在蓝色的向量空间内，我们需要在蓝色的向量空间内找到一个与 $Y$ 最相似的向量，而这个向量的 $w$ 就是我们要求的参数。

两个向量的欧式距离越近，说明两个向量越相似，而欧式距离的公式为：$\sqrt{\sum _{i=1}^n|w^T{x}_i-y_i{|}^2}$ ，为了简化计算，我们算最小距离就是最小平方。

概率角度

我们知道 $ϵ=y_i-\stackrel{-}{y_i}$ ，误差 $ϵ$ 是符合高斯分布的，我们从中心极限定理可知。

$\because ϵ\sim N(0,{\sigma }^2),ϵ=y_i-\stackrel{-}{y_i}$

$\therefore y_i\sim N({\hat{y}}_i,{\sigma }^2)$

$\therefore y_i\sim N(w^T{x}_i,{\sigma }^2)$

我们利用极大似然估计求$w$

最后可得$argmin{\sum }_{i=1}^N(y_i-w^T{x}_i{)}^2$

计算$w$

我们要计算$argminL(w)$，对 $w$ 求导即可，具体过程建议看b站的https://www.bilibili.com/video/BV1aE411o7qd?p=10&share_source=copy_web，过程非常详细。

如有错误，欢迎指教~