一、什么是最小二乘法
最小二乘法(Least Squares Method)是一种数学优化技术,常用于拟合数据和估计参数。它的主要目标是找到一个函数,使其预测值与观测值之间的残差平方和最小化。
在最小二乘法中,通常考虑一个具有nn个数据点的数据集,每个数据点包含一个自变量,和一个对应的因变量
。假设我们有一个模型函数
,其中θ是模型的参数。我们希望通过调整参数θ来使模型的预测值
尽可能接近观测值
。
最小二乘法通过最小化残差平方和来确定最佳参数θ。残差是观测值与模型预测值之间的差异。通过定义残差