线性方程组、最小二乘法

在数学中，线性方程组是方程组的一种，它符合以下的形式：

如果用线性代数中的概念来表达，则线性方程组可以写成：

这里的A是m×n 矩阵，x是含有n个元素列向量，b是含有m 个元素列向量。

这是线性方程组的另一种记录方法。在已知矩阵和向量的情况求得未知向量是线性代数的基本问题之一。

线性方程组的解

如果有一组数x₁、x₂、……x_n使得方程组两边的等号都成立，那么这组数就叫做方程组的解。一个线性方程组的所有的解的集合会被简称为解集。根据解的存在情况，线性方程组可以分为三类：

·        有唯一解的恰定方程组，

·        解不存在的超定方程组，

·        有无穷多解的欠定方程组（也被通俗地称为不定方程组）。

 

松弛求解

在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。这时常常需要退一步，将线性方程组的求解问题改变为求最小误差的问题。形象的说，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解。比较常用的方法是最小二乘法。最小二乘法求解超定问题等价于一个优化问题，或者说最小值问题，即，在不存在使得的情况下，我们试图找到这样的使得最小，其中表示范数。

最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

用函数表示为：

用欧几里得度量表达为：

最小化问题的精度，依赖于所选择的函数模型。

 

线性函数模型

典型的一类函数模型是线性函数模型。最简单的线性式是，写成矩阵式，为

直接给出该式的参数解：

 

和

     

其中，为t值的算术平均值。也可解得如下形式：

 

 

reference：

http://zh.wikipedia.org/wiki/线性方程组

http://zh.wikipedia.org/wiki/最小二乘法