机器学习-线性回归理论推导-最小二乘法理论推导

0.概述

在统计学中，线性回归（Linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。 ——维基百科
从最简单的只有一个自变量的简答回归来看：

蓝点为实际样本，红线为线性预测函数，对于任意给定新的样本自变量即可按照线性预测函数进行因变量$y$的预测。直观理想情况下，样本"应该是"均匀分布在预测函数两侧，红色预测函数从蓝色样本"居中"位置穿过去。
下面进行从理论实现对上述"直观感觉"的推导

1.线性回归理论推导

1. 预备定理
   1. 中心极限定理
      设随机变量$X_1,X_2,\dots ,X_n$互相独立，服从同一分布，并且具有相同的期望$\mu$和方差${\sigma }^2$,则随机变量
      $$Y_n=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$$
      的分布收敛到标准正态分布，即高斯分布。
      转化一下，即可得到${\sum }_{i=1}^n{X}_i$收敛到正态分布$N(n\mu ,n{\sigma }^2)$
      简言之，当样本量足够大时，样本均值的分布慢慢变成正态分布
   2. 极大似然估计
      设总体分布为$f(x,\theta )$，$X_1,X_2,\dots ,X_n$为该总体采样得到的样本。因为$X_1,X_2,\dots ,X_n$独立同分布，因此，对于联合密度函数
      $$L(X_1,X_2,\dots ,X_n;{\theta }_1,{\theta }_2,\dots ,{\theta }_k)=\prod _{i=1}^{n}f(X_i;{\theta }_1,{\theta }_2,\dots ,{\theta }_k)$$
      上式中，$\theta$被看作固定但待求解的参数；反过来，因为样本已经存在，可以看成$X_1,X_2,\dots ,X_n$是固定的，$L(x,\theta )$是关于$\theta$的函数，即似然函数。
      求$\theta$的值，使得似然函数取极大值，这种方法就是极大似然估计
2. 线性回归数学定义
   对于$n$维空间(或者可以通俗的描述为$n$维特征)的$m$个样本，每个样本对应一个因变量$y$，即有$m$个样本数据如下
   $$(x_1^1,x_2^1,\dots ,x_n^1,y^1),(x_1^2,x_2^2,\dots ,x_n^2,y^2),\dots ,(x_1^m,x_2^m,\dots ,x_n^m,y^m)$$
   在上面样本的基础之上，任意给定一个新样本$(x_1^x,x_2^x,\dots ,x_n^x)$，如何求得该样本对应的$y^x$呢？如果$y$是连续的，这就是一个回归问题，如果$y$是离散的，就是一个分类问题，本文暂讨论回归情况。
   (对于本文初自变量只有一维的情况，线性回归目的是求得一条直线($y=ax+b$)的方程，需要确定的量有斜率($a$)和截距($b$)两个。同理对于n维度自变量的情况，线性回归需要求得的是直线的推广——超平面的方程。此时待确定的依然是斜率和截距两个变量，但此时斜率维数变为$n$维)
   对于上述$m$个样本，给出线性回归的模型如下
   $$h_{\theta }(x_1,x_2,\dots ,x_n)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$
   其中，${\theta }_0$为截距，${\theta }_i(i=1,2,\dots ,n)$唯一确定"斜率"(注：超平面使用更多的是法向量，与"斜率"是垂直关系)。为了更加表述更加简洁，我们在截距项上增加一个$x_0$，并且令$x_0=1$，上述线性回归模型可以全等写成
   $$h_{\theta }(x_1,x_2,\dots ,x_n)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$
   即
   h θ ( x 1 , x 2 , … , x n ) = ∑ i = 1 n θ i x i h_\theta(x_{1},x_{2},\dots,x_{n})=\sum_{i=1}^{n}\theta_{i}x_{i} hθ​(x1​,x2​,…,xn​)=