最小二乘法的两种应用

输入矩阵X：

系数矩阵W：

输出矩阵Y：

一般情况下，m>n，也就是方程数要大于未知数，才用最小二乘法求系数矩阵W。下面根据Y矩阵是否为零矩阵来讨论如何求W：

Y矩阵不为零矩阵

直接套用公式：

Y矩阵为零矩阵

在||W||=1的前提下，的最小（n-rank(X)）个特征值对应的特征向量的线性组合为W。也就是对X进行SVD奇异值分解：

即V矩阵最右侧（n-rank(X)）个特征值对应的特征向量的线性组合为W。

其中可以根据及其他一些条件求解。