手把手带你推导“最小二乘法”核心公式

在数据分析和机器学习的世界里，最小二乘法无疑是一个绕不开的经典话题。

它既简单又强大，广泛应用于线性回归、曲线拟合等诸多领域。

今天，就让我们一起深入探索最小二乘法的奥秘，从原理到推导，再到实际应用，一步步揭开它的神秘面纱。

一、最小二乘法的直观理解

在 18 世纪末到 19 世纪初，天文学和大地测量学的研究中，科学家们面临着一个棘手的问题：

如何从大量的观测数据中提取出有价值的信息？

这些数据往往带有误差，而直接使用这些数据进行计算可能会导致结果的偏差。

图1. 天体轨道

正是在这样的背景下，最小二乘法应运而生。

最小二乘法最早由法国数学家勒让德（Adrien - Marie Legendre）于 1805 年提出。

当时，勒让德在研究天体轨道的计算时，发现了一种通过最小化误差平方和来优化参数的方法。

这种方法不仅能够有效处理观测数据中的误差，还能得到较为准确的模型参数估计。

不管怎样，最小二乘法的出现为科学计算和数据分析开辟了一条新的道路。

1.1 问题提出

假设我们有一组数据点 $(x_i,y_i)$，其中 $i=1,2,\dots ,n$，我们希望通过这些数据点拟合出一个函数 $f(x)$，使得这个函数能够尽可能地接近这些数据点的真实分布。

换句话说，我们希望找到一个函数 $f(x)$，使得 $f(x_i)$ 与 $y_i$ 之间的差异尽可能小。

1.2 误差度量

在数学中，我们通常用误差来衡量预测值与真实值之间的差异。对于每个数据点 $(x_i,y_i)$，误差可以表示为：

$${ϵ}_i=f(x_i)-y_i$$

然而，仅仅用误差的绝对值来衡量并不方便，因为误差有正有负，直接相加可能会导致正负抵消。

为了解决这个问题，我们引入了误差的平方。误差平方和（Sum of Squared Errors，SSE）可以表示为：

$$SSE=\sum _{i=1}^n{ϵ}_i^2=\sum _{i=1}^n[f(x_i)-y_i{]}^2$$

通过最小化误差平方和 $SSE$ 来确定函数 $f(x)$ 的参数。换句话说，我们需要找到一组参数，使得 $SSE$ 达到最小值。

这种方法的优点是显而易见的：它不仅避免了正负误差的抵消，而且平方操作还放大了大误差的影响，使得模型更加注重拟合那些偏离较大的数据点。

二、最小二乘法的数学推导

为了更好地理解最小二乘法，我们以最简单的一元线性回归为例进行推导。假设我们拟合的函数形式为：

$$f(x)=ax+b$$

其中，$a$ 和 $b$ 是我们需要确定的参数。根据最小二乘法的原理，我们需要最小化误差平方和 $SSE$，即：

SSE=∑i=1n[f(xi)−yi]2=∑i=1n[axi+b−yi]2 SSE = \sum_{i=1}^{n} [f(x_i) - y_i]^2 = \sum_{i=1}^{n} [ax_i + b - y_i]^2 SSE=i=1∑n​[f(xi​)−yi​]2=i=1∑n​[ax