二元函数极值问题：最小二乘法_二元最小二乘法-优快云博客

最小二乘法

已知一组大致满足线性关系的实验数据

x	$x_1$	$x_2$	$x_3$	$⋯\cdots$	$x_n$
y	$y_1$	$y_2$	$y_3$	$⋯\cdots$	$y_n$

要确定直线 $y = a x + b$ 使得所有观测值 $y_i$ 与 $ax_i+b$ 之差的平方和

$Q=\sum_{i=1}^n(y_i-ax_i-b)^2$
最小.将 $y = a x + b$ 视为变量 $y$ 与 $x$ 之间的近似函数关系，称为这组数据在最小二乘意义下的拟合曲线（实践中常称为经验公式）.

确定常数 $a$ , $b$ 用的方法就是二元函数求极值的方法.显然 $Q$ 是 $a$ , $b$ 的函数，令

$∂Q∂a=−2∑i=1n(yi−axi−b)xi=2a∑i=1nxi2+2b∑i=1nxi−2∑i=1nxiyi=0∂Q∂b=−2∑i=1n(yi−axi−b)=2a∑i=1nxi−2∑i=1nyi+2nb=0\begin{aligned} \frac{\partial Q}{\partial a}&=-2\sum_{i=1}^n(y_i-ax_i-b)x_i=2a\sum_{i=1}^nx_i^2+2b\sum_{i=1}^nx_i-2\sum_{i=1}^nx_iy_i=0\\ \frac{\partial Q}{\partial b}&=-2\sum_{i=1}^n(y_i-ax_i-b)=2a\sum_{i=1}^nx_i-2\sum_{i=1}^ny_i+2nb=0 \end{aligned}$

就得到线性方程组

$\begin{pmatrix} \sum_{i=1}^nx_i^2 & \sum_{i=1}^nx_i\\[5pt] \sum_{i=1}^nx_i&n \end{pmatrix} \begin{pmatrix} a\\[5pt]b \end{pmatrix} =\begin{pmatrix} \sum_{i=1}^nx_iy_i\\[5pt] \sum_{i=1}^ny_i \end{pmatrix}\tag{1}$

当
$∣∑i=1nxi2∑i=1nxi∑i=1nxin∣=n∑i=1nxi2−(∑i=1nxi)2=12∑i≠j(xi−xj)2≠0\begin{vmatrix} \sum_{i=1}^nx_i^2 & \sum_{i=1}^nx_i\\[5pt] \sum_{i=1}^nx_i&n \end{vmatrix}=n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2=\frac{1}{2}\sum_{i\ne j}(x_i-x_j)^2\ne0$
时，方程(1) 有唯一解：

$a_0=\frac{n\sum_{i=1}^nx_iy_i-\sum_{i=1}^nx_i\sum_{i=1}^ny_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2},\qquad b_0=\frac{\sum_{i=1}^nx_i^2\sum_{i=1}^ny_i-\sum_{i=1}^nx_i\sum_{i=1}^nx_iy_i}{n \sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2}$