线性方程组的最小二乘解

最新推荐文章于 2025-08-20 19:56:07 发布

原创

最新推荐文章于 2025-08-20 19:56:07 发布 · 2.1k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #线性代数 #物联网 #嵌入式硬件 #大数据

1. 背景

对于线性方程组可以根据方程数量与未知数数量分为欠定方程、适定方程和超定方程，欠定方程是指方程数量少于未知数数量，适定方程是指方程数量等于未知数数量，超定方程是指方程数量多于未知数数量。对于存在存在唯一解的情况下，只需要简单的矩阵运算就可以得到解，如：
$Ax=b\ -> \ x=A^{-1}b$ ,但实际工程中几乎只会出现超定方程组，而且是一个无解的超定方程组。虽然通常情况下超定方程组是无解的，但为其求解一个近似解，也称作最小二乘解。

2. 线性方程组的最小二乘解-代数推导

在工程中通常有一堆测量数据，然后为这个系统找到一个数学模型：

$f(x_1,x_2···x_n)=y\\ a_1x_1+a_2x_2+···+a_nx_n=y$

将这一堆测量数据带入模型：

$a_{1}x_{11}+a_{2}x_{12}+···+a_{n}x_{1n}=y_1\\ a_{1}x_{21}+a_{2}x_{22}+···+a_{n}x_{2n}=y_2\\ ···\\ a_{1}x_{m1}+a_{2}x_{m2}+···+a_{n}x_{mn}=y_m$

上述线性方程组中，x并不是未知量，相反a才是未知量，所以上述是关于a的线性方程组，根据最小二乘的思想---a取何值时误差和最小：

$e(a_1,a_2···a_n)=\sum_{n=1}^m (a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)^2$

分别对a_1~a_n求偏导：

$\frac{\partial e(a_1,a_2···a_n)}{\partial a_1}=2\sum_{i=1}^m x_{i_1}(a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)=0\\ \frac{\partial e(a_1,a_2···a_n)}{\partial a_2}=2\sum_{i=1}^m x_{i_2}(a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)=0\\···\\ \frac{\partial e(a_1,a_2···a_n)}{\partial a_n}=2\sum_{i=1}^m x_{i_n}(a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)=0$