线性代数 · 伪逆矩阵 | 定义、求法、性质及应用

注：本文为 “线性代数 · 伪逆矩阵” 相关合辑。
略作重排，未整理去重。
如有内容异常，请看原文。

---

伪逆矩阵（Pseudo-Inverse Matrix）

evilDog_xjtu 于 2014-08-15 10:40:39 发布

伪逆矩阵

伪逆矩阵是逆矩阵的广义形式，主要用于解决奇异矩阵（行列式为 0 的方阵）与非方阵的“逆矩阵不存在”问题。

在 MATLAB 软件中，可通过 pinv 函数求解伪逆，其基本语法与参数定义如下：

• 基础语法：X = pinv(A)，其中 A 为待求伪逆的矩阵，X 为输出的伪逆矩阵；
• 带误差阈值的语法：X = pinv(A, tol)，其中 tol 为误差阈值，用于判定矩阵奇异值是否为 0，pinv 是“pseudo-inverse”的缩写。tol 的默认值满足 $\text{max}(\text{size}(A))\times \text{norm}(A)\times \text{eps}$。

伪逆矩阵的定义与性质

Moore-Penrose 条件

设矩阵 $A$ 是一个 $m\times n$ 矩阵。如果存在一个 $n\times m$ 矩阵 $X$，满足以下四个 Moore-Penrose 条件，则称 $X$ 为 $A$ 的伪逆矩阵，记作 $A^{+}$：
$$\begin{gathered} AXA=A(1) \\ XAX=X(2) \\ (AX{)}^T=AX(3) \\ (XA{)}^T=XA(4) \end{gathered}$$
此时，矩阵 $X$ 也被称为 $A$ 的广义逆矩阵。

与传统逆矩阵的关系

1. 非奇异方阵的情况：如果 $A$ 是一个非奇异方阵（即行列式不为 0），则其伪逆矩阵 $A^{+}$ 等于其传统逆矩阵 $A^{-1}$，即 $A^{+}=A^{-1}$。在这种情况下，Moore-Penrose 条件自然满足。
2. 计算效率：由于伪逆矩阵的计算过程通常比传统逆矩阵更复杂，耗时更长。因此，仅当矩阵 $A$ 不可逆时（即为奇异矩阵或非方阵），才需要使用伪逆矩阵的概念和计算方法。

伪逆矩阵的分类求解方法

根据矩阵的秩与维度特征（列满秩、行满秩、秩亏损），伪逆的求解方法可分为三类，各类方法的适用条件与计算公式明确如下：

1. 列满秩矩阵的伪逆求解

• 适用条件：矩阵 $A$ 为 $m\times n$ 矩阵（$m\ge n$），且列向量线性无关（秩 $r=n$）；
• 计算公式：
  $$A^{+}=(A^{T}A{)}^{-1}{A}^T$$
  此时，$A^{+}A=I_n$（$n$ 维单位矩阵），$A^{+}$ 称为 $A$ 的左逆。

2. 行满秩矩阵的伪逆求解

• 适用条件：矩阵 $A$ 为 $m\times n$ 矩阵（$m\le n$），且行向量线性无关（秩 $r=m$）；
• 计算公式：
  $$A^{+}=A^T(A{A}^T{)}^{-1}$$
  此时，$A{A}^{+}=I_m$（$m$ 维单位矩阵），$A^{+}$ 称为 $A$ 的右逆。

3. 秩亏损矩阵的伪逆求解

• 适用条件：矩阵 $A$ 的秩 （$r<\min (m,n)$（秩小于行数与列数的最小值）；
• 求解步骤：
  1. 奇异值分解（SVD）：对 $A$ 进行奇异值分解，得到 $A=U\Sigma V^T$。其中 $U$ 为 $m\times m$ 正交矩阵，$V$ 为 $n\times n$ 正交矩阵，$\Sigma$ 为 $m\times n$ 对角矩阵（其对角线元素为 $A$ 的奇异值）。
  2. 构造逆奇异值矩阵：构造一个 $n\times m$ 对角矩阵 ${\Sigma }^{+}$。其对角线元素 ${\Sigma }_{ii}^{+}$ 定义为：
     • 若 ${\Sigma }_{ii}\ne 0$，则 ${\Sigma }_{ii}^{+}=1/{\Sigma }_{ii}$。
     • 若 ${\Sigma }_{ii}=0$，则 ${\Sigma }_{ii}^{+}=0$。
  3. 计算伪逆：
     $$A^{+}=V{\Sigma }^{+}{U}^T$$

机器视觉中的伪逆矩阵应用示例

在机器视觉领域，有限相机（finite camera）的投影矩阵 $P$ 是伪逆矩阵的一个典型应用场景。

• 矩阵特性：投影矩阵 $P$ 通常是一个 $3\times 4$ 矩阵，且其秩为 3（即行满秩）。
• 投影矩阵 $P$ 的形式：
  $$P=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]$$
• 伪逆矩阵 $P^{+}$ 的形式：根据伪逆矩阵的维度规则（如果原矩阵是 $m\times n$，其伪逆是 $n\times m$），$P$ 的伪逆 $P^{+}$ 为 $4\times 3$ 矩阵。由于 $P$ 是行满秩矩阵，其伪逆 $P^{+}$ 可使用行满秩矩阵的公式计算：
  $$P^{+}=P^T(P{P}^T{)}^{-1}$$
• 性质：在这种情况下，满足 $P{P}^{+}=I_3$（$I_3$ 为 $3\times 3$ 单位矩阵）。

$P^{+}$ 的具体形式为：
$$P^{+}=\left[\begin{array}{ccc}{p}_{11}^{+}& p_{21}^{+}& p_{31}^{+}\\ p_{12}^{+}& p_{22}^{+}& p_{32}^{+}\\ p_{13}^{+}& p_{23}^{+}& p_{33}^{+}\\ p_{14}^{+}& p_{24}^{+}& p_{34}^{+}\end{array}\right]$$

---

伪逆矩阵

xingozd 于 2015-11-18 08:29:30 发布

伪逆矩阵的定义

定义：令 $A$ 是一个任意 $m\times n$ 矩阵，称矩阵 $G$ 是 $A$ 的广义逆矩阵（或 Moore-Penrose 伪逆），若 $G$ 满足以下四个 Moore-Penrose 条件：

1. $GAG=G$
2. $AGA=A$
3. $AG$ 为 Hermitian 矩阵，即 $(AG{)}^H=AG$
4. $GA$ 为 Hermitian 矩阵，即 $(GA{)}^H=GA$

伪逆矩阵的计算方法

1. 基于最小二乘的直接求解

对于列满秩矩阵 $A$，其伪逆矩阵 $\text{InvA}$ 可通过求解最小二乘问题推导得到，表达式为：

$$\text{InvA}=(A^{T}A{)}^{-1}{A}^T$$

% 通过最小二乘公式直接计算伪逆
InvA = inv(A' * A) * A';

2. 基于奇异值分解（SVD）的求解

奇异值分解提供了一种通用的伪逆计算方法，适用于任何矩阵。

%% 基于 SVD 分解计算伪逆
% 原理与公式：
% 1. 任意矩阵 A 可以分解为 A = U S V^H，其中 U 和 V 是酉矩阵（对于实矩阵为正交矩阵），
%    S 是对角矩阵，其对角线元素为 A 的奇异值。
% 2. 酉矩阵（或正交矩阵）的逆等于其共轭转置（或转置）。
% 3. 对角矩阵的伪逆可以通过将其非零对角元素取倒数得到。

% Step 1: 求解矩阵 A 的 SVD 分解
[U, S, V] = svd(A); % A = U * S * V' (对于实矩阵 V' 即 V^H)

% Step 2: 计算对角矩阵 S 的伪逆
T = S;
% 找到 S 中非零元素的索引，并对其取倒数
non_zero_indices = find(S ~= 0);
T(non_zero_indices) = 1 ./ S(non_zero_indices);

% Step 3: 构造伪逆矩阵 InvA
svdInvA = V * T' * U'; % (对于实矩阵 T' 即 T^H)

3. 基于 QR 分解的求解

QR 分解也可用于计算伪逆，尤其适用于稀疏矩阵等特定类型的矩阵。

%% 基于 QR 分解计算伪逆
% 原理与公式：
% 1. 任意矩阵 A 可以分解为 A = Q R，其中 Q 是酉矩阵（对于实矩阵为正交矩阵），
%    R 是上三角矩阵。
% 2. 正交矩阵的逆等于其转置。
% 3. 上（下）三角矩阵的逆仍然是上（下）三角矩阵。计算上三角矩阵的逆可通过
%    向后替换法（或前向替换法）求解线性方程组，通常通过库函数实现。

[Q, R] = qr(A);
% 对于列满秩矩阵 A，其伪逆为 A^+ = (R^H R)^-1 R^H Q^H
% 这里通过计算 (R^H R)^-1 R^H 获得 R 的伪逆，再与 Q^H 结合
InvR = inv(R' * R) * R';
qrInvA = InvR * Q';

伪逆矩阵的应用实例

1. 信号检测与干扰消除

伪逆矩阵在信号处理中常用于构建线性均衡器或滤波器，以实现信号的检测和干扰的消除。

a = floor(10 * rand(4, 3)) % 生成一个 4×3 的随机矩阵 a

a =

     7     4     2
     7     6     6
     1     7     6
     4     7     1

% 计算矩阵 a 的伪逆
b = inv(a' * a) * a'

b =

    0.1018    0.0650   -0.0959   -0.0180
   -0.0263   -0.0767    0.0578    0.1658
   -0.0296    0.1149    0.0903   -0.1719

% 验证 Moore-Penrose 伪逆条件，此处验证 b·a 是否近似单位矩阵（列满秩矩阵特性）
b * a

ans =

    1.0000   -0.0000    0.0000
   -0.0000    1.0000   -0.0000
   -0.0000   -0.0000    1.0000

上述结果显示，矩阵 $b\cdot a$ 近似为单位矩阵。这表明对于列满秩矩阵 $A$，其伪逆 $A^{+}$ 满足 $A^{+}A=I$（其中 $I$ 为单位矩阵），即当 $i=j$ 时，结果矩阵元素 $x_{ij}=1$；当 $i\ne j$ 时，$x_{ij}\approx 0$，与单位矩阵定义一致。

---

矩阵的逆、伪逆

csdn_1HAO 于 2018-07-23 14:10:09 发布

1. 矩阵的逆

• 定义
  设 $A$ 是数域上的一个 $n$ 阶方阵，若在相同数域上存在另一个 $n$ 阶矩阵 $B$，使得 $AB=BA=I_n$，则称 $B$ 是 $A$ 的逆矩阵，而 $A$ 则被称为可逆矩阵。

• 可逆条件
  $A$ 是可逆矩阵的充分必要条件是，$A$ 为非奇异矩阵（当 $|A|=0$ 时，$A$ 称为奇异矩阵）。

• 性质

  • 矩阵 $A$ 可逆的充要条件是 $A$ 的行列式不等于 $0$。
  • 可逆矩阵一定是方阵。
  • 若矩阵 $A$ 可逆，则 $A$ 的逆矩阵是唯一的。
  • 可逆矩阵也被称为非奇异矩阵、满秩矩阵。
  • 两个可逆矩阵的乘积依然可逆。
  • 可逆矩阵的转置矩阵也可逆。
  • 矩阵可逆当且仅当它是满秩矩阵。

• 求逆方法

  • 伴随矩阵法
    如果矩阵 $A$ 可逆，则 $A^{-1}=\frac{A^{\ast }}{|A|}$，其中 $A^{\ast }$ 是 $A$ 的伴随矩阵。
    注意：$A^{\ast }$ 中元素的排列特点是第 $k$ 列元素是 $A$ 的第 $k$ 行元素的代数余子式，即 $A^{\ast }$ 为求解 $A$ 的余子矩阵的转置矩阵。

  • 初等变换法
    若矩阵 $A$ 和 $B$ 互逆，即 $AB=BA=I_n$。由 $AB=BA=I_n$ 及矩阵乘法的定义可知，矩阵 $A$ 和 $B$ 均为方阵；且由 $AB=I_n$ 及行列式的乘积性质（两个矩阵乘积的行列式等于这两个矩阵行列式的乘积）可知，这两个矩阵的行列式都不为 $0$，即二者均为满秩矩阵（或称非奇异矩阵），即 $A$ 和 $B$ 均是方阵，且 $\text{rank}(A)=\text{rank}(B)=n$。换句话说，这两个矩阵可以只经由初等行变换，或者只经由初等列变换，变为单位矩阵。
    由于对矩阵 $A$ 施以初等行变换（初等列变换）就相当于在 $A$ 的左边（右边）乘以相应的初等矩阵，因此可以同时对 $A$ 和 $I_n$ 施以相同的初等行变换（初等列变换）。这样，当矩阵 $A$ 被变为 $I_n$ 时，$I_n$ 就被变为 $A$ 的逆矩阵 $A^{-1}$。

2. 矩阵的伪逆和左右逆

• 伪逆矩阵
  伪逆矩阵是逆矩阵的广义形式。对于奇异矩阵或非方阵的矩阵，其逆矩阵不存在，但在MATLAB中可通过函数 pinv(A) 求其伪逆矩阵，基本语法为 $X=\text{pinv}(A)$ 且 $\text{pinv}(A)A=AX=I$（其中 $X$ 为误差，pinv 为pseudo-inverse的缩写），$\max (\text{size}(A))\cdot \text{norm}(A)\cdot \text{eps}$ 为函数返回值与 $A$ 的转置矩阵 $A^T$ 同型的矩阵。若 $A$ 是 $n\times n$ 矩阵且 $AX=XA=X$ 时，称矩阵 $X$ 为矩阵 $A$ 的逆，也称为广义逆矩阵。pinv(A) 具有 inv(A) 的部分特性，但与 inv(A) 不完全相同。若 $A$ 为非奇异方阵，则 $\text{pinv}(A)=\text{inv}(A)$，但前者会耗费大量的计算时间，相较而言，inv(A) 花费的时间更少。

• 伪逆矩阵求法
  设 $A$ 为 $m\times n$ 矩阵，$r$ 为 $A$ 的秩：

  • 若矩阵 $A$ 是方阵，且 $|A|\ne 0$，则存在 $A{A}^{-1}=I$；
  • 若 $A$ 不是方阵，或者 $|A|=0$，则只能求 $A$ 的伪逆，其伪逆通过奇异值分解（SVD）计算得出：
    pinv(A) 表示 $A$ 的伪逆：
    • 若 $A$ 列满秩（列向量线性无关），$r=n$，则方程组 $Ax=b$ 为超定方程组，存在 $0$ 个或 $1$ 个解，此时 $\text{pinv}(A)=(A^{T}A{)}^{-1}{A}^T$，因为 $(A^{T}A{)}^{-1}{A}^{T}A=I$，因此也称为左逆；
    • 若 $A$ 行满秩（行向量线性无关），则方程组 $Ax=b$ 为欠定方程组，存在 $0$ 个或无穷个解，此时 $\text{pinv}(A)=A^T(A{A}^T{)}^{-1}$，因为 $A{A}^T(A{A}^T{)}^{-1}=I$，因此也称为右逆；
    • 若 $A$ 秩亏损，则先对其做奇异值分解 $A=UD{V}^T$（其中 $U,V$ 是正交阵，$D$ 是对角阵）；然后对对角阵 $D$ 构造矩阵 $S$，如果 $D(i,i)=0$，则 $S(i,i)=0$；如果 $D(i,i)\ne 0$，则 $S(i,i)=1/D(i,i)$；于是 $\text{pinv}(A)=VS{U}^T$。

• 二、矩阵的左逆与最小二乘
  关于最小二乘可参考：最小二乘的几何意义及投影矩阵（http://www.cnblogs.com/AndyJee/p/5053354.html）
  事实上，最小二乘是一个超定方程组的求解问题，根据上述分析，超定方程组的求解方法之一是通过求伪逆的形式，具体来说是求左逆，即
  $$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$$
  最小二乘也可从几何的角度来考虑，即下文要阐述的投影矩阵。

• 三、左右逆与投影矩阵
  在左逆中，$(A^{T}A{)}^{-1}{A}^{T}A=I$，若将左逆左乘 $A$ 后再右乘 $A$ 得不到单位矩阵，那么 $A(A^{T}A{)}^{-1}{A}^T$ 是什么？它是在 $A$ 矩阵列空间（$A$ 矩阵各列张成的子空间）上投影的投影矩阵，它会尽量逼近单位矩阵，一个投影矩阵很难成为单位矩阵，但不可能做到。
  在右逆中，$A{A}^T(A{A}^T{)}^{-1}=I$，若将右逆右乘 $A$ 后再左乘 $A$ 不是单位矩阵，那么 $(A{A}^T{)}^{-1}A{A}^T$ 是什么？它是在 $A$ 矩阵行空间（$A$ 矩阵各行张成的子空间）上投影的投影矩阵。

---

伪逆矩阵 (Generalized Inverse Matrix)

Crystalaji 2017.12.23 14:12:56 最后修订于：2017.12.23 19:10:52

逆矩阵与伪逆矩阵的概念

1. 矩阵逆与伪逆的定义

(1) 矩阵的逆

对于一个方阵 $A$，如果存在一个矩阵 $B$，使得 $AB=BA=I$，其中 $I$ 为与 $A$ 维度相同的单位矩阵，则称 $A$ 为可逆矩阵（或非奇异矩阵），并称 $B$ 是 $A$ 的逆矩阵，记作 $B=A^{-1}$。

(2) 矩阵的伪逆

非方阵或不可逆的方阵不具有逆矩阵，但它们可能具有伪逆矩阵。

若存在矩阵 $A^L$ 使得 $A^{L}A=I$ 成立，但不一定满足 $A{A}^L=I$，则称 $A^L$ 为矩阵 $A$ 的左逆矩阵。类似地，若存在矩阵 $A^R$ 使得 $A{A}^R=I$ 成立，但不一定满足 $A^{R}A=I$，则称 $A^R$ 为矩阵 $A$ 的右逆矩阵。

当且仅当 $m\ge n$ 且矩阵 $A_{m\times n}$ 具有列满秩时，其左逆矩阵为 $A^L=(A^{T}A{)}^{-1}{A}^T$。

当且仅当 $n\ge m$ 且矩阵 $A_{m\times n}$ 具有行满秩时，其右逆矩阵为 $A^R=A^T(A{A}^T{)}^{-1}$。

对于任意矩阵 $A_{m\times n}$，无论其是否为方阵、是否满秩，都可以通过奇异值分解 (Singular Value Decomposition, SVD) 来定义其伪逆矩阵。若 $A=U\Sigma V^T$，则 $A$ 的伪逆矩阵 $A^{+}$ 定义为 $A^{+}=V{\Sigma }^{+}{U}^T$。其中 ${\Sigma }^{+}$ 是由 $\Sigma$ 经过转置、非零奇异值的倒数以及补零操作得到的。

广义逆矩阵的定义

伪逆矩阵的实际意义

伪逆矩阵的意义与线性系统中的应用

1. 线性方程组的解的基本情况

讨论伪逆矩阵需以线性方程组的解为切入点。对于 $n$ 元线性方程组 $AX=B$（其中系数矩阵 $A$ 为 $m\times n$ 矩阵，常数项向量 $B$ 为 $m\times 1$ 向量），其解存在三种典型情况：唯一解、无穷多解、无解。
由于唯一解的求解无需依赖伪逆矩阵的特殊性质，因此本节重点分析后两种情况中伪逆矩阵的作用。

2. 线性方程组有无穷多解时的伪逆应用

当线性方程组存在无穷多解时，需满足秩的条件：$R(A)=R([AB])<n$（其中 $R(\cdot )$ 表示矩阵的秩，$[AB]$ 为方程组的增广矩阵）。该条件通常对应 $A$ 为行满秩矩阵，且方程个数（$m$）小于变量个数（$n$）的场景。
尽管此时解的数量无穷，但在所有满足 $AX=B$ 的解中，存在一个唯一的“最小范数解”——即距离坐标原点欧几里得距离最近的解，记为 $X^0$。

• 最小范数解的构造：$X^0=A^{†}B$，其中 $A^{†}$ 表示矩阵 $A$ 的伪逆，且此时 $A^{†}$ 等价于 $A$ 的右逆矩阵。
• 性质：可证明 $X^0=A^{†}B$ 是所有满足 $AX=B$ 的解中，欧几里得范数 $\Vert X\Vert$ 最小的解。

3. 线性方程组无解时的伪逆应用

当线性方程组无解时，秩的条件为 $R(A)\ne R([AB])$。该情况的本质是：常数项向量 $B$ 不在系数矩阵 $A$ 的列空间中，因此不存在能严格满足 $AX=B$ 的解。
此时需寻求“近似解”——即找到一个向量 $X^0$，使得残差的欧几里得范数 $\Vert AX-B\Vert$ 最小化（该解称为最小二乘解）。此时 $A{X}^0=B^{\prime }$，其中 $B^{\prime }$ 是 $A$ 的列空间中与 $B$ 欧几里得距离最近的向量。

• 最小二乘解的构造：$X^0=A^{†}B$，其中 $A^{†}$ 仍为 $A$ 的伪逆，且此时 $A^{†}$ 等价于 $A$ 的左逆矩阵。
• 性质：该解满足 $\Vert AX-B\Vert \ge \Vert A{X}^0-B\Vert$（对所有 $X$ 成立），但需注意 $X^0$ 并非传统意义上的解，因为它不直接满足 $AX=B$。

4. 伪逆矩阵的价值总结

从上述两种场景可提炼伪逆矩阵的意义：

1. 欧几里得范数的作用：在伪逆求解过程中，欧几里得范数同时承担“度量残差误差”（无解场景）和“限制解的长度”（无穷多解场景）的角色。
2. 最优解特性：伪逆矩阵 $A^{†}$ 所构造的解 $X^0=A^{†}B$，是在特定几何约束（最小范数或最小二乘）下的唯一最优解。
3. 实际应用：该特性使伪逆矩阵在工程与科学领域广泛应用，例如在最小能量系统设计中，可通过伪逆矩阵直接求得问题的最优方案。

伪逆矩阵与奇异值分解 (SVD) 的关系

非方阵不具有逆矩阵，但它们具有广义逆矩阵或伪逆矩阵。

对于一个矩阵 $A$，如果存在一个矩阵 $B$ 满足以下 Moore-Penrose 条件：

$$\begin{array}{rl}(1)& ABA=A\\ (2)& BAB=B\\ (3)& (AB{)}^T=AB\\ (4)& (BA{)}^T=BA\end{array}$$

则称 $B$ 为 $A$ 的广义逆矩阵（或 Moore-Penrose 伪逆）。

满足上述四个条件的广义逆矩阵是唯一的。假设矩阵 $A$ 具有奇异值分解 (SVD) 形式：

$A=U\left(\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right)V^T,$

其中 $U$ 和 $V$ 是正交矩阵，$\Sigma$ 是由 $A$ 的非零奇异值构成的对角矩阵。则 $A$ 的广义逆矩阵 $A^{+}$ 可以表示为：

$A^{+}=V\left(\begin{array}{cc}{\Sigma }^{-1}& 0\\ 0& 0\end{array}\right)U^T$

---

via:

• 伪逆矩阵（pseudo-inverse）_pseudo-inversion of matrix-优快云博客
  https://blog.youkuaiyun.com/u014260892/article/details/38581175
• 伪逆矩阵-优快云博客
  https://blog.youkuaiyun.com/xingozd/article/details/49901967
• 矩阵逆与伪逆详解-优快云博客
  https://blog.youkuaiyun.com/caomin1hao/article/details/81131382
• 伪逆矩阵（广义逆矩阵） - 简书
  https://www.jianshu.com/p/609fa0cce409
  —
• (oﾟvﾟ)ノ Hi - 线性代数 | 伪逆矩阵
  https://www.cnblogs.com/isumi/articles/18893136
• 线性代数之伪逆矩阵(pseudoinverse matrix)
  https://wyman1024.github.io/linear-algebra-16/