16、矩阵、变分法与拉格朗日乘数法的知识总结

矩阵、变分法与拉格朗日乘数法的知识总结

1. 矩阵的基本性质与恒等式

1.1 基本矩阵恒等式

矩阵 (A) 的元素表示为 (A_{ij})，其中 (i) 表示行索引，(j) 表示列索引。(I_N) 表示 (N×N) 的单位矩阵，在维度明确时可简记为 (I)。矩阵的转置 (A^T) 满足 ((A^T) {ij} = A {ji})，由此可得 ((AB)^T = B^TA^T)。矩阵 (A) 的逆 (A^{-1}) 满足 (AA^{-1} = A^{-1}A = I)，进而有 ((AB)^{-1} = B^{-1}A^{-1}) 以及 ((A^T)^{-1} = (A^{-1})^T)。

此外，还有以下有用的恒等式：
- ((P^{-1} + B^TR^{-1}B)^{-1}B^TR^{-1} = PB^T(BP^TB + R)^{-1})，当 (P) 为 (N×N) 矩阵，(R) 为 (M×M) 矩阵，(B) 为 (M×N) 矩阵且 (M≪N) 时，计算等式右边会比左边更高效。
- ((I + AB)^{-1}A = A(I + BA)^{-1})。
- ((A + BD^{-1}C)^{-1} = A^{-1} - A^{-1}B(D + CA^{-1}B)^{-1}CA^{-1})，即 Woodbury 恒等式，当 (A) 为大的对角矩阵易于求逆，(B) 行多列少，(C) 列多行少时，计算右边更高效。

向量组 ({a_1, \ldots, a_N}) 线性无关的条件是 (\sum_{n} \alpha_n a_n = 0) 仅在所有 (\alpha_n = 0) 时成立，矩阵的秩是其线性无关行（或列）的