【数学基础】最小二乘法

【fishing-pan：https://blog.youkuaiyun.com/u013921430 转载请注明出处】

前言

   当我们有$N$组数据，希望能够用一个函数来拟合这组数据的分布情况时，首先想到的就是最小二乘法。最小二乘法是线性回归中最基础也是最常用模型，它也可以用来拟合高次多项式。

什么是最小二乘法

  那么，什么是最小二乘法呢？将我们手中已有的数据表示成一个集合，（为了简化模型，暂且只考虑输入属性只有$x$一个的情况）D={(x1;y1),(x2;y2),⋯ ,(xn;yn)}D=\left \{ (x_{1};y_{1}),(x_{2};y_{2}),\cdots ,(x_{n};y_{n}) \right \}D={(x1​;y1​),(x2​;y2​),⋯,(xn​;yn​)}
  首先假设最终得到的线性模型为；
$$y=ax+b$$

  如上图所示，绿色的线条为所求的回归模型，黑色点为实际样本输入数据，红色线段为实际值与模型预测值之间的欧氏距离，用以下公式表示；
$$e_i=\Vert a{x}_i+b-y_i\Vert$$
  为了让最终所求的模型尽量准确地表现数据分布规律，我们需要让$e_i$的和尽可能的小，所以$(a^{\ast },b^{\ast })$在$e_i$的和取最小值时取得；
$$(a^{\ast },b^{\ast })=\underset{(a,b)}{\mathrm{argmin}}\sum _{i=1}^n\Vert a{x}_i+b-y_i\Vert$$
   但是上述式子中的绝对值是不可导的，求解困难。因此采用均方误差来代替绝对值。
$$(a^{\ast },b^{\ast })=\underset{(a,b)}{\mathrm{argmin}}\sum _{i=1}^n(a{x}_i+b-y_i{)}^2$$
  这种基于均方误差来进行模型求解的方法就叫最小二乘法，也叫最小平方法。

参数推导

  首先还是来看上面提到的最简单的情况。令；
$$E(a,b)=\sum _{i=1}^n(a{x}_i+b-y_i{)}^2$$
  $E$是关于$a$与$b$的二次函数，只会有一个极值点。而很明显，让$E$取极大值的$(a,b)$出现在空间中无限远处的，是不存在的。所以当$(a,b)$让$E$取得极值时，$E$取得极小值，分别对$a$、$b$求偏导。
$$\begin{array}{rl}\frac{\partial E}{\partial a}& =2\sum _{i=1}^n(a{x}_i+b-y_i)x_i\\ & =2(\sum _{i=1}^{n}a{x}_i^2+\sum _{i=1}^{n}b{x}_i-\sum _{i=1}^n{y}_i{x}_i)\\ & =2(\sum _{i=1}^{n}a{x}_i^2+b\ast n\bar{x}-\sum _{i=1}^n{y}_i{x}_i)\end{array}$$
$$\frac{\partial E}{\partial b}=2\sum _{i=1}^n(a{x}_i+b-y_i)=2(a\ast n\bar{x}+nb-n\bar{y})$$
  令；
$$\frac{\partial E}{\partial a}=0，\frac{\partial E}{\partial b}=0$$
  可得；
$$a=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{{\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2}$$
$$b=\bar{y}-a\bar{x}=\frac{\bar{y}{\sum }_{i=1}^n{x}_i^2-\bar{x}{\sum }_{i=1}^n{x}_i{y}_i}{{\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2}$$
  由于，
$$\begin{array}{rl}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})& =\sum _{i=1}^n(x_i{y}_i-x_i\bar{y}-y_i\bar{x}+\bar{x}\bar{y})\\ & =\sum _{i=1}^n{x}_i{y}_i-\bar{y}\sum _{i=1}^n{x}_i-\bar{x}\sum _{i=1}^n{y}_i+n\bar{x}\bar{y}\\ & =\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}\end{array}$$
  同理，
$$\sum _{i=1}^n(x_i-\bar{x}{)}^2=\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2$$
  所以$a$还可以表示成，
$$a=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$$

多元线性回归

  上述的推导中输入属性数目为一，在一般的情况下，样本的属性会有多个，所以通过矩阵的形式将上述推导过程进行推广。假设数据集$D$中样本属性有$d$个；将第$i$个样本可以表示成以下形式；
$$(x_i^1;x_i^2;\cdots ;x_i^d;y)$$
  用向量 ${\text{x}}_i$表示 $d$ 个属性，$\text{w}$表示参数的向量;
$${\text{x}}_i=(x_i^1;x_i^2;\cdots ;x_i^d)$$
$$\text{w}=(w_1;w_2;\cdots ;w_d)$$
  则回归模型可以表示成；
$$f({\text{x}}_i)={\text{w}}^T{\text{x}}_i+b$$
  为了便于讨论，令
$$\hat{\text{w}}=(\text{w};b)$$
  对应的将$\text{x}$也增加一项；
$${\text{x}}_i=(x_i^1;x_i^2;\cdots ;x_i^d;1)$$
$$f({\text{x}}_i)={\hat{\text{w}}}^T{\text{x}}_i$$
$$\text{X}=\left(\begin{array}{ccccc}{x}_1^1& x_1^2& \cdots & x_1^d& 1\\ x_2^1& x_2^2& \cdots & x_2^d& 1\\ ⋮& \ddots & \ddots & ⋮& ⋮\\ x_n^1& x_n^2& \cdots & x_n^d& 1\end{array}\right)=\left(\begin{array}{cc}{\text{x}}_1^T& 1\\ {\text{x}}_2^T& 1\\ ⋮& ⋮\\ {\text{x}}_n^T& 1\end{array}\right)$$
  同样地； $\text{y}=(y_1;y_2;\cdots ;y_n)$，那么与上面的类似，有;
$${\hat{\text{w}}}^{\ast }=\underset{\hat{\text{w}}}{\mathrm{argmin}}(\text{y}-\text{X}\hat{\text{w}}{)}^T(\text{y}-\text{X}\hat{\text{w}})$$
  令$E=(\text{y}-\text{X}\hat{\text{w}}{)}^T(\text{y}-\text{X}\hat{\text{w}})$；对$\hat{\text{w}}$求偏导数；
$$\frac{\partial E}{\partial \hat{\text{w}}}=2{\text{X}}^T(\text{X}\hat{\text{w}}-\text{y})$$
  最终所求
$${\hat{\text{w}}}^{\ast }=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{y}$$

继续推广延伸

  更一般的，可以将这种线性回归用于非线性函数的拟合；例如对于对数函数；
$$f({\text{x}}_i)=y=ln({\text{w}}^T{\text{x}}_i+b)$$
  可以利用反函数，将其转换成$h=e^y={\text{w}}^T{\text{x}}_i+b$；成为一个线性回归的问题，最终再转换成对数形式；

  甚至可以用最小二乘法拟合多项式曲线。
$$y=a_0+a_{1}x+a_2{x}^2+\cdots +a_m{x}^m$$
$$\text{X}=\left(\begin{array}{ccccc}{x}_1^m& x_1^{m-1}& \cdots & x_1^1& 1\\ x_2^m& x_2^{m-1}& \cdots & x_2^1& 1\\ ⋮& \ddots & \ddots & ⋮& ⋮\\ x_n^m& x_n^{m-1}& \cdots & x_n^1& 1\end{array}\right)$$
  此时上标$m$不再表示第$m$个属性，而是表示$m$次幂；在修改过$\text{X}$后，最终${\hat{\text{w}}}^{\ast }$依然表示为；
$${\hat{\text{w}}}^{\ast }=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{y}$$

Matlab 实现高次多项式拟合

  用Matlab实现了最小二乘法一元高次多项式拟合；代码如下；

**%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%不用先生，2018.11.22，最小二乘法一元高次多项式拟合
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
clc;
clear all;
xi=[-1,0,2,3,4,5,8,9,10,15,20];
yi=[-2,-0.5,1.5,2.8,2.8,3.9,7.6,7.5,8,13,16.5];

[~,n]=size(xi);
m=8;     %%最高8次多项式；
W=zeros(m+1,m);

for i=1:m
     X=zeros(n,i+1);    %%创建一个n*+1的矩阵；
    for j=1:n
        for s=1:i          
            X(j,s)=xi(j)^(i+1-s);   %%计算矩阵中每一个元素的值
        end
        X(j,i+1)=1;
    end
    XX=inv(X'*X)*X'*yi';  %%得到系数并赋值
    for j=1:i+1
        W(j,i)=XX(j);
    end 
end
   
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%构造方程，画图
x=-5:0.01:25;
for i=1:m
    y=W(1,i)*x.^i;
    for j=2:i+1
        y=y+W(j,i)*x.^(i-j+1);
    end   
    subplot(2,4,i);
    plot(xi,yi,'*');
    hold on;
    plot(x,y);
    hold off
end
suptitle('用1到8次多项式拟合')
**

  很明显，在高次多项式拟合时，曲线边缘出现了龙格现象。

参考

《机器学习》，周志华 著，清华大学出版社；

已完。。