学习最小二乘法

 整理下方便以后查阅：

最小二乘法是一种数学优化技术，利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差平方和为最小。最小二乘法还可以用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。  推荐博客：http://blog.youkuaiyun.com/v_july_v/article/details/8308762

概念：

何谓最小二乘法？实践中，常需寻找两变量之间的函数关系，比如测定一个刀具的磨损速度，也就是说，随着使用刀具的次数越多，刀具本身的厚度会逐渐减少，故刀具厚度与使用时间将成线性关系，假设符合f（t）=at + b（t代表时间，f(t)代表刀具本身厚度），a，b是待确定的常数，那么a、b如何确定呢？

    最理想的情形就是选取这样的a、b，能使直线y = at + b 所得到的值与实际中测量到的刀具厚度完全符合，但实际上这是不可能的，因为误差总是存在难以避免的。故因误差的存在，使得理论值与真实值存在偏差，为使偏差最小通过偏差的平方和最小确定系数a、b，从而确定两变量之间的函数关系f（t）= at + b。

    这种通过偏差的平方和为最小的条件来确定常数a、b的方法，即为最小二乘法。最小二乘法的一般形式可表述为：

    在此，说点后话，最小二乘法是与统计学有着密切联系的，因为观测值有随机误差，所以它同正态分布一样与误差论有着密切联系( 说实话，最小二乘法试图解决的是误差最小的问题，而正态分布则是试图寻找误差分布规律的问题，无论是最小二乘法，还是正态分布的研究工作，至始至终都围绕着误差进行)。

 

 原理：

在我们研究两个 变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条 直线方程如（式1-1）。

（式1-1)

其中：a0、a1 是任意实数

为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用（式1-1）计算值（Yj=a0+a1X）的离差（Yi-Yj）的平方和

最小为“优化判据”。

令：φ =

（式1-2)

把（式1-1）代入（式1-2）中得：

φ =

（式1-3)

当

最小时，可用函数 φ 对a0、a1求偏导数，令这两个 偏导数等于零。

∑2（a0 + a1*Xi - Yi）（式1-4)

∑2*Xi（a0 + a1*Xi - Yi）（式1-5)

亦即：

na0 + （∑Xi ) a1 = ∑Yi （式1-6)

（∑Xi ) a0 + （∑Xi^2 ) a1 = ∑（Xi*Yi) （式1-7)

得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：

a0 = （∑Yi) / n - a1（∑Xi) / n （式1-8)

a1 = [n∑Xi Yi - （∑Xi ∑Yi)] / [n∑Xi2 - （∑Xi)2 )] （式1-9)

这时把a0、a1代入（式1-1）中， 此时的(式1-1）就是我们回归的元线性方程即：数学模型。