线性方程组的最小二乘解

原创最新推荐文章于 2026-03-29 19:18:01 发布 2.2k 阅读 AI写同款

老Z先生

417粉丝32篇原创

关注

机器学习数学基础基本例题【四】：最小二乘问题指的是，给定一个矩阵A和向量b，寻找一个向量x，使得Ax≈b的误差最小。最小二乘问题可以表示为：其中||.||表示向量的2-范数。指的是，满足上述最小二乘问题的向量x。指的是，在满足Ax=b的条件下，使得向量x的2-范数最小的解。指的是，在满足Ax=b的条件下，使得向量x的2-范数最小，并且满足Ax≈b的误差最小的解。对于超定方程组Ax=b（A的行数大于列数），由于方程组无解，我们可以通过。阅读详情

AI摘要

本文介绍超定线性方程组的最小二乘解法，包括代数推导、矩阵微积分工具及向量空间推导三种方法，并提供求解的常用工具和技术。

1. 背景

对于线性方程组可以根据方程数量与未知数数量分为欠定方程、适定方程和超定方程，欠定方程是指方程数量少于未知数数量，适定方程是指方程数量等于未知数数量，超定方程是指方程数量多于未知数数量。对于存在存在唯一解的情况下，只需要简单的矩阵运算就可以得到解，如：
$Ax=b\ -> \ x=A^{-1}b$ ,但实际工程中几乎只会出现超定方程组，而且是一个无解的超定方程组。虽然通常情况下超定方程组是无解的，但为其求解一个近似解，也称作最小二乘解。

2. 线性方程组的最小二乘解-代数推导

在工程中通常有一堆测量数据，然后为这个系统找到一个数学模型：

$f(x_1,x_2···x_n)=y\\ a_1x_1+a_2x_2+···+a_nx_n=y$

将这一堆测量数据带入模型：

$a_{1}x_{11}+a_{2}x_{12}+···+a_{n}x_{1n}=y_1\\ a_{1}x_{21}+a_{2}x_{22}+···+a_{n}x_{2n}=y_2\\ ···\\ a_{1}x_{m1}+a_{2}x_{m2}+···+a_{n}x_{mn}=y_m$

上述线性方程组中，x并不是未知量，相反a才是未知量，所以上述是关于a的线性方程组，根据最小二乘的思想---a取何值时误差和最小：

$e(a_1,a_2···a_n)=\sum_{n=1}^m (a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)^2$

分别对a_1~a_n求偏导：

$\frac{\partial e(a_1,a_2···a_n)}{\partial a_1}=2\sum_{i=1}^m x_{i_1}(a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)=0\\ \frac{\partial e(a_1,a_2···a_n)}{\partial a_2}=2\sum_{i=1}^m x_{i_2}(a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)=0\\···\\ \frac{\partial e(a_1,a_2···a_n)}{\partial a_n}=2\sum_{i=1}^m x_{i_n}(a_{1}x_{i1}+a_{2}x_{i2}+···+a_{n}x_{in}-y_i)=0$