理解数学概念——最小平方法(最小二乘法)(Least squares)

1.  术语说明(Least squares)

         首先，这个术语“least squares”翻译为“最小二乘”容易让人引起混淆，如果直接翻译为“平方”不是通俗易懂吗？所以，一些数学术语在英译汉时有些翻译是不恰当的，有故弄玄虚之嫌；在没有标明其对应的英文的情况下，容易把初学者搞糊涂，会疑惑这个“二乘”是啥意思，为啥叫“二乘”；在标明英文的情况下，也会疑惑这个“二乘”和“平方”到底是啥关系，是不是这个“square”除了平方，还有别的含义？

         我查了一下，这种译法也是一个舶来品。日语中的“乘”有“次幂”的意思，也就是说把幂也当成乘看待，即相同的数相乘称为“次幂”。“二乘”就是“二次幂”，即平方。而“least square method”最初由日本人翻译成“最小二乘法”，而由某位中国人直接搬过来用。

         下文中使用“最小平方法”这个译名。

2.  最小平方法说明

最小平方法是一种用于回归分析的统计技术，用于在图表上求得数据集的最佳趋势曲线。它本质上是找到能够代表数据整体方向的最佳拟合线的一种方法。每一个数据点都代表自变量和因变量之间的关系。

Legendre于1805年发表了对最小平方法的首次清晰简洁的阐述。该方法描述为一种用代数方法将线性方程拟合到数据的程序，Legendre通过分析与Laplace相同的地球形状数据来演示这一新方法。Legendre发表该方法后的十年内，最小平方法就被法国、意大利和普鲁士采纳为天文学和大地测量学的标准工具，这标志着一项科学技术被迅速接受。

1809年，Carl Friedrich Gauss发表了他计算天体轨道的方法。在那篇论文中，他声称自己早在1795年就掌握了最小平方法。这自然引发了他与Legendre之间的优先权之争。然而，值得称道的是，Gauss超越了Legendre，成功地将最小平方法与概率论原理以及正态分布联系起来。他完成了Laplace的计划，即根据有限个未知参数，确定观测概率密度的数学形式，并定义一种能够最小化估计误差的估计方法。Gauss通过改变概率密度和估计方法，证明了算术平均值确实是位置参数的最佳估计值。然后，他反过来思考，为了得到算术平均值作为位置参数的估计值，概率密度应该具有什么样的形式，以及应该使用什么样的估计方法。正是在这种尝试中，他发明了正态分布(normal distribution)。

Gauss方法的强大之处最早体现在它被用于预测新发现的小行星谷神星的未来位置。1801年1月1日，意大利天文学家Giuseppe Piazzi发现了谷神星，并追踪了它40天的运行轨迹，直到它消失在太阳的耀眼光芒中。基于这些数据，天文学家希望在谷神星从太阳背后出现后确定它的位置，而无需求解开普勒复杂的非线性行星运动方程。最终，只有24岁的Gauss运用最小平方法进行的预测，才成功地帮助匈牙利天文学家Hungarian astronomer Franz Xaver von Zach重新定位了谷神星。

1810年，Laplace在阅读了Gauss的著作后，证明了中心极限定理，并利用该定理为最小平方法和正态分布提供了大样本的合理性证明。1822年，Gauss指出，在误差均值为零、不相关、服从正态分布且方差相等的线性模型中，回归分析的最小平方法是最优的，因为最小平方估计量是系数的最佳线性无偏估计量。这一结果的扩展版本称为Gauss-Markov定理。

最小平方分析的思想也是美国人Robert Adrain于 1808 年独立提出的。在接下来的两个世纪里，误差理论和统计学领域的学者们找到了许多不同的方法来实施最小平方法。