Ｍoore-Penrose伪逆

对于非方阵而言，其逆矩阵没有定义。假设在下列问题中，我们希望通过矩阵$\textit{A}$的左逆$\textit{B}$来求解线性方程，

$$\textit{A}\textit{x}=\textit{y}$$
等式两边左乘左逆$\textit{B}$后，我们得到，
$$\textit{x}=\textit{B}\textit{y}$$
取决于问题的形式，我们可能无法设计一个唯一的映射将$\textit{A}$映射到$\textit{B}$。
如果矩阵$\textit{A}$的行数大于列数，那么上述方程可能没有解。如果矩阵$\textit{A}$的列数大于行数，那么上述方程可能有多个解。
Ｍoore-Penrose伪逆使我们在这类问题上取得了一定的进展。矩阵$\textit{A}$的伪逆定义为，
$$\textit{A}^{+}=\lim_{\alpha \rightarrow 0}\left ( \textit{A}^{T}\textit{A}+\alpha\textit{I} \right )^{-1}\textit{A}^{T}$$
计算伪逆的算法没有基于这个定义，而是使用下面的公式，
$$\textit{A}^{+}=\textit{V}\textit{D}^{+}\textit{U}^{T}$$
其中，矩阵$\textit{U}$，$\textit{D}$和$\textit{V}$是矩阵$\textit{A}$经奇异值分解后得到的矩阵。对角矩阵$\textit{D}$的伪逆$\textit{D}^{+}$是其非零元素取倒数再经转置后得到的。
当矩阵$\textit{A}$的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种。特别的，$\textit{x}=\textit{A}^{+}y$是方程所有可行解中欧几里德范数$\left \| x \right \|_{2}$最小的一个。
当矩阵$\textit{A}$的行数多于列数时，可能没有解。在这种情况下，通过伪逆求得的$\textit{x}$使得$\textit{Ax}$和$\textit{y}$的欧几里德距离$\left \| \textit{Ax-y} \right \|_{2}$最小。