2.7 转置与置换

一、转置

$A$ 的转置（transpose）记作 $A^T$，$A^T$ 的列就是 $A$ 的行。
若 $A$ 是 $m\times n$ 的矩阵，则它的转置 $A^T$ 就是 $n\times m$ 的矩阵：$$转置如果A=\left[\begin{array}{ccc}1& 2& 3\\ 0& 0& 4\end{array}\right]则A^T=\left[\begin{array}{cc}1& 0\\ 2& 0\\ 3& 4\end{array}\right]$$可以将 $A$ 的行写成 $A^T$ 的列，也可以将 $A$ 的列写成 $A^T$ 的行，它的转置矩阵是关于其主对角线翻转（即交换关于主对角线对称的元素）。$A^T$ 的行 $i$ 列 $j$ 元素来自于原始矩阵 $A$ 的行 $j$ 列 $i$ 元素：

$$交换行与列(A^T{)}_{ij}=A_{ji}$$

下三角矩阵的转置是上三角矩阵。$A^T$ 的转置就是 $A$。
注： MATLAB 中 $A$ 的转置使用 $A^{\prime }$ 来表示，输入 $\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$ 得到一个行向量，列向量 $\mathbf{v}={\left[\begin{array}{ccc}1& 2& 3\end{array}\right]}^{\prime }$。若矩阵 $M$ 的第二列是 $\mathbf{w}={\left[\begin{array}{ccc}4& 5& 6\end{array}\right]}^{\prime }$，可以定义 $M=\left[\begin{array}{cc}\mathbf{v}& \mathbf{w}\end{array}\right]$；也可以通过行快速输入，让后将整个矩阵转置 $M={\left[\begin{array}{cccccc}1& 2& 3;& 4& 5& 6\end{array}\right]}^{\prime }$。
转置的一些运算法则：$$\begin{array}{ccc}和& (A+B{)}^T=A^T+B^T& (\mathrm{2.7.1})\\ 积& (AB{)}^T=B^T{A}^T& (\mathrm{2.7.2})\\ 逆& (A^{-1}{)}^T=(A^T{)}^{-1}& (\mathrm{2.7.3})\end{array}$$需要注意的是 $(AB{)}^T$ 需要反序相乘 $B^T{A}^T$，可以从 $(A\mathbf{x}{)}^T={\mathbf{x}}^T{A}^T$ 来理解该法则，此时 $B$ 只是一个向量：$$A\mathbf{x}是A列的线性组合，而{\mathbf{x}}^T{A}^T是A^T行的线性组合$$它们是相同的线性组合，在 $A$ 中是列，在 $A^T$ 中变成了行，所以 $A\mathbf{x}$ 的转置就是 ${\mathbf{x}}^T{A}^T$，符合公式 $(AB{)}^T=B^T{A}^T$。下面证明当 $B$ 有多个列时， $(AB{)}^T=B^T{A}^T$：
如果 $B=\left[\begin{array}{cc}{\mathbf{x}}_1& {\mathbf{x}}_2\end{array}\right]$ 有两列，对这两列用同样的方法，则 $AB$ 的列就是 $A{\mathbf{x}}_1$ 和 $A{\mathbf{x}}_2$，它们的转置将会出现在 $B^T{A}^T$ 的行：$$转置AB=\left[\begin{array}{ccc}& & \\ A{\mathbf{x}}_1& A{\mathbf{x}}_2& \cdots \\ & & \end{array}\right]得到\left[\begin{array}{c}{\mathbf{x}}_1^T{A}^T\\ {\mathbf{x}}_2^T{A}^T\\ \cdots \end{array}\right]就是B^T{A}^T(\mathrm{2.7.4})$$下面是实际的例子：$$AB=\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]\left[\begin{array}{cc}5& 0\\ 4& 1\end{array}\right]=\left[\begin{array}{cc}5& 0\\ 9& 1\end{array}\right],B^T{A}^T=\left[\begin{array}{cc}5& 4\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}5& 9\\ 0& 1\end{array}\right]$$反序的规则可以扩展到三个及三个以上的乘积：$(ABC{)}^T=C^T{B}^T{A}^T$。$$如果A=LDU，则A^T=U^T{D}^T{L}^T，主元矩阵有D=D^T$$将上述乘积转置的规则应用中 $A^{-1}A=I$ 两侧，因为 $I^T=I$，可以得到 $(A^{-1}{)}^T$ 就是 $A^T$ 的逆矩阵，因为它们的乘积是 $I$：$$转置逆矩阵A^{-1}A=I转置后的A^T(A^{-1}{)}^T=I(\mathrm{2.7.5})$$同理由 $A{A}^{-1}=I$，可以得到 $(A^{-1}{)}^T{A}^T=I$。我们可以对转置求逆，也可以对逆求转置。尤其注意：$A^T$ 可逆当且仅当 $A$ 可逆。

【例1】$A=\left[\begin{array}{cc}1& 0\\ 6& 1\end{array}\right]$ 的逆矩阵是 $A^{-1}=\left[\begin{array}{cc}1& 0\\ -6& 1\end{array}\right]$，它的转置是 $A^T=\left[\begin{array}{cc}1& 6\\ 0& 1\end{array}\right]$。$$(A^{-1}{)}^T和(A^T{)}^{-1}都等于\left[\begin{array}{cc}1& -6\\ 0& 1\end{array}\right]$$

二、内积的意义

我们知道 $\mathbf{x}$ 和 $\mathbf{y}$ 的点积（内积）是 $x_i{y}_i$ 的累加和，现在我们可以使用更好地方式来表示 $\mathbf{x}\cdot \mathbf{y}$，不再需要点来表示，而是用矩阵表示：$$\begin{gathered} {}^T在内点积或内积是{\mathbf{x}}^T\mathbf{y}(1\times n)(n\times 1) \\ {}^T在外秩一的乘积或外积是\mathbf{x}{\mathbf{y}}^T(n\times 1)(1\times n) \end{gathered}$$${\mathbf{x}}^T\mathbf{y}$ 是一个数字，${\mathbf{xy}}^T$ 是一个矩阵。量子力学中写成 $<\mathbf{x}|\mathbf{y}>$（内积），$|\mathbf{x}><\mathbf{y}|$（外积）。下面三个例子是内积的不同意义：$$\begin{array}{cc}力学& 功=(位移)(力)={\mathbf{x}}^T\mathbf{f}\\ 电路& 功率=(压降)(电流)={\mathbf{e}}^T\mathbf{y}\\ 经济& 收入=(数量)(单价)={\mathbf{q}}^T\mathbf{p}\end{array}$$这里就比较接近应用数学的中心了，另一个重点强调的是内积与 $A$ 的转置有很深的关联。
我们将矩阵沿其主对角线翻转定义为 $A^T$，这个不是数学，还有一个更好的方法来说明转置。$A^T$ 是使任意两个向量 $\mathbf{x}$ 和 $\mathbf{y}$ 内积相等的矩阵：$$(A\mathbf{x}{)}^T\mathbf{y}={\mathbf{x}}^T(A^T\mathbf{y})A\mathbf{x}与\mathbf{y}的内积=\mathbf{x}与A^T\mathbf{y}的内积$$假如 $A=\left[\begin{array}{ccc}-1& 1& 0\\ 0& -1& 1\end{array}\right]$，$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$，$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$，左侧是 $A\mathbf{x}$ 与 $\mathbf{y}$ 的内积：$(x_2-x_1)y_1+(x_3-x_2)y_2$，整理得：$x_1(-y_1)+x_2(y_1-y_2)+x_3(y_2)$，右侧是 $\mathbf{x}$ 与 $A^T\mathbf{y}$ 的内积：$$A^T\mathbf{y}必须是\left[\begin{array}{c}-y_1\\ y_1-y_2\\ y_2\end{array}\right]，可以得到A^T=\left[\begin{array}{cc}-1& 0\\ 1& -1\\ 0& 1\end{array}\right]$$

三、对称矩阵

对称（Symmetric）矩阵将其转置前后没有变化，即它的转置等于它本身。对称矩阵的元素关于主对角线对称，即有 $(j,i)$ 元素等于 $(i,j)$ 元素。一般使用字母 $S$ 表示对称矩阵。

$$定义对称矩阵有S^T=S，即S_{ji}=S_{ij}$$

$$对称矩阵S=\left[\begin{array}{cc}1& 2\\ 2& 5\end{array}\right]=S^T，D=\left[\begin{array}{cc}1& 0\\ 0& 10\end{array}\right]=D^T$$对称矩阵的逆矩阵也是对称矩阵。$(S^{-1}{)}^T=(S^T{)}^{-1}=S^{-1}$，所以若 $S$ 可逆， $S^{-1}$ 也是对称矩阵。$$对称的逆矩阵S^{-1}=\left[\begin{array}{cc}5& -2\\ -2& 1\end{array}\right]，D^{-1}=\left[\begin{array}{cc}1& 0\\ 0& 0.1\end{array}\right]$$

四、对称的乘积 $A^{T}A$，$A{A}^T$，$LD{L}^T$

任意的 $m\times n$ 的矩阵 $A$，可以是矩形的，$A^T$ 和 $A$ 的乘积 $S=A^{T}A$ 是一个对称的方阵。$$A^{T}A的转置A^T(A^T{)}^T就是A^{T}A(\mathrm{2.7.6})$$下面快速证明 $A^{T}A$ 是对称矩阵。对于 $A^{T}A$ 的 $(i,j)$ 位置的元素，它是 $A^T$ 第 $i$ 行和 $A$ 第 $j$ 列的点积，而其 $(j,i)$ 位置的元素是 $A^T$ 第 $j$ 行和 $A$ 第 $i$ 列的点积，因为 $A^T$ 的行 $i$ 就是 $A$ 的列 $i$，$A^T$ 的列 $j$ 就是 $A$ 的行 $j$，所以这两个点积相等，因此 $A^{T}A$ 是对称矩阵。
同理 $A{A}^T$ 也是对称的，但是 $A{A}^T$ 与 $A^{T}A$ 不同。以我们的经验，大部分科学问题都是从矩形矩阵 $A$ 开始，以 $A^{T}A$ 或 $A{A}^T$ 或二者皆有的情况下结束，例如最小二乘法。

【例2】将 $A=\left[\begin{array}{ccc}-1& 1& 0\\ 0& -1& 1\end{array}\right]$ 和 $A^T=\left[\begin{array}{cc}-1& 0\\ 1& -1\\ 0& 1\end{array}\right]$ 用两种顺序相乘。$$A{A}^T=\left[\begin{array}{cc}2& -1\\ -1& 1\end{array}\right]，A^{T}A=\left[\begin{array}{ccc}1& -1& 0\\ -1& 2& -1\\ 0& -1& 1\end{array}\right]都是对称矩阵$$$A^{T}A$ 是 $n\times n$ 的矩阵，反序相乘的 $A{A}^T$ 是 $m\times m$ 的矩阵，它们都是对称矩阵，对角线均为正数。大部分情况下 $A^{T}A\ne A{A}^T$，即使 $m=n$ 时，通常情况下等号也不成立。
对称矩阵的消元$S^T=S$ 可以使得消元更快，因为我们只需要处理矩阵的一半就可以了（加上对角线）。三重乘积 $S=LDU$ 会有对称性，这种分解使得 $L$ 和 $U$ 的对角线都是 $1$：$$\begin{gathered} \left[\begin{array}{cc}1& 2\\ 2& 7\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]\left[\begin{array}{cc}1& 2\\ 0& 3\end{array}\right]LU分解不具有对称性 \\ \left[\begin{array}{cc}1& 2\\ 2& 7\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 3\end{array}\right]\left[\begin{array}{cc}1& 2\\ 0& 1\end{array}\right]\begin{array}{c}LD{L}^T具有对称性\\ 此时U是L的转置\end{array} \end{gathered}$$当 $S$ 是对称矩阵时，一般形式 $A=LDU$ 变为 $S=LD{L}^T$。最后的 $U$（对角线均是 $1$）是 $L$（对角线也为 $1$）的转置。对角矩阵 $D$ 包含主元，它本身也是对称的。

$$如果S=S^T分解成LDU，没有出现行交换，则U就是L^T$$

$$对称矩阵的对称分解是S=LD{L}^T$$注意到 $LD{L}^T$ 的转置 $(L^T{)}^T{D}^T{L}^T$ 就是 $LD{L}^T$。消元的工作就会减少一半，从 $n^3/3$ 次乘法变成了 $n^3/6$ 次乘法，存储空间基本上也减少一半，我们只需要保存 $L$ 和 $D$，因为 $U$ 就是 $L^T$。

五、置换矩阵

转置在置换矩阵中扮演了一个特殊角色，置换矩阵 $P$ 在每一行每一列有且只有一个 $1$，$P^T$ 也是一个置换矩阵，它可能与 $P$ 相同，也可能与 $P$ 不同。任意两个置换矩阵的乘积 $P_1{P}_2$ 也是置换矩阵。
我们通过重新排列 $I$ 行的顺序，可以得到来自这个单位矩阵的所有置换矩阵。
最简单的置换矩阵就是 $P=I$（没有行交换），然后是仅交换 $I$ 两行的置换矩阵 $P_{ij}$，其它的置换矩阵会交换更多的行。对 $I$ 做所有可能的行交换，则可以得到全部的置换矩阵。

$$定义置换矩阵P有单位矩阵I任意顺序的行$$

【例3】下面是 $6$ 个 $3\times 3$ 的置换矩阵，没有写出 $0$：$$I=\left[\begin{array}{ccc}1& & \\ & 1& \\ & & 1\end{array}\right]，P_{21}=\left[\begin{array}{ccc}& 1& \\ 1& & \\ & & 1\end{array}\right]，P_{32}{P}_{21}=\left[\begin{array}{ccc}& 1& \\ & & 1\\ 1& & \end{array}\right]$$$$P_{31}=\left[\begin{array}{ccc}& & 1\\ & 1& \\ 1& & \end{array}\right]，P_{32}=\left[\begin{array}{ccc}1& & \\ & & 1\\ & 1& \end{array}\right]，P_{21}{P}_{32}=\left[\begin{array}{ccc}& & 1\\ 1& & \\ & 1& \end{array}\right]$$$n$ 阶矩阵总共有 $n!$ 个置换矩阵，$n$ 的阶乘 $n!=1\times 2\times \cdots \times n$，因此 $3!=1\times 2\times 3=6$。如果 $4$ 阶矩阵 $n=4$，则有 $24$ 种置换矩阵，$5$ 阶矩阵有 $120$ 种置换矩阵。
对于 $2$ 阶矩阵只有两种置换矩阵，分别是 $\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$ 和 $\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$。
重点： $P^{-1}$ 也是一个置换矩阵。在上面的 $3\times 3$ 的置换矩阵中，左边四个矩阵的逆矩阵就是它本身，右边的两个矩阵互为逆矩阵。对于所有的置换矩阵，只进行一次行交换的置换矩阵其逆矩阵就是它本身，因为重复两次相同的行交换就会回到 $I$。但是对于进行两次行交换的置换矩阵来说，其逆矩阵就是反序相乘，$P_{32}{P}_{21}$ 的逆矩阵就是 $P_{21}{P}_{32}$。
更重要的： $P^{-1}$ 总是与 $P^T$ 相等。右边的两个矩阵互为逆矩阵，也互为转置矩阵。当我们计算 $P{P}^T$ 时，$P$ 的第一行中的 $1$ 正好碰上 $P^T$ 第一列中的 $1$（因为 $P$ 的行 $1$ 正好是 $P^T$ 的列 $1$），而其它列的 $1$ 正好错过，所以有 $P{P}^T=I$。
另一种证明 $P^T=P^{-1}$ 的方法：将 $P$ 看成行交换矩阵的乘积，因为每个行交换矩阵的转置（关于主对角线对称）和逆都是它本身，$P^T$ 和 $P^{-1}$ 都是行交换矩阵反序相乘，所以 $P^T$ 与 $P^{-1}$ 相同。

六、允许行交换的 PA = LU 分解

$A=LU$ 分解从 $A=(E_{21}^{-1}\cdots E_{ij}^{-1}\cdots )U$ 开始，每个消元步骤执行一次 $E_{ij}$ 用来消元，然后取其逆矩阵 $E_{ij}^{-1}$，它们可以压缩成一个矩阵 $L$，$L$ 是一个对角线都是 $1$ 的下三角矩阵，最终得到 $A=LU$。
但是 $A=LU$ 分解不一定一直都可以成功，因为有时候需要用到行交换得到主元。此时就会有 $A=(E^{-1}\cdots P^{-1}\cdots E^{-1}\cdots P^{-1}\cdots )U$，每次行交换需要一个矩阵 $P_{ij}$，然后取其逆矩阵 $P_{ij}^{-1}$，就得到上面的分解。我们如果将这些行交换矩阵压缩成一个置换矩阵 $P$，那么每一个可逆矩阵 $A$ 都可以进行分解了。
那么如何得到这些行交换矩阵 $P_{ij}$ 呢？有两种可能的方法可以得到 $P_{ij}$：第一种是在进行消元前就做好所有的行交换；第二种是在执行完所有消元步骤 $E_{ij}$ 后再做行交换。第一种方法会得到 $PA=LU$，而第二种方法会在中间得到一个置换矩阵 $P_1$。

1. 可以提前做行交换。所有行交换矩阵的乘积 $P$ 可以使 $A$ 的每一行都处在正确位置，因此对于 $PA$ 就不再需要进行行交换，可以得到 $PA=LU$。
2. 如果在执行完所有的消元步骤后再进行行交换，那么主元将会是以一种比较奇怪的顺序排列。$P_1$ 可以将 $U_1$ 按照正确的方式排列，得到 $A=L_1{P}_1{U}_1$。

计算中基本上都是使用 $PA=LU$，我们主要关注这种形式。
下例中矩阵 $A$ 从 $a_{11}=0$ 开始，通过交换行 $1$ 和行 $2$ 将主元放在正确的位置，然后对 $PA$ 进行消元：$$\begin{gathered} \left[\begin{array}{ccc}0& 1& 1\\ 1& 2& 1\\ 2& 7& 9\end{array}\right]\to \left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 1\\ 2& 7& 9\end{array}\right]\to \left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 1\\ 0& 3& 7\end{array}\right]\to \left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 1\\ 0& 0& 4\end{array}\right] \\ APA{l}_{31}=2l_{32}=3 \end{gathered}$$矩阵 $PA$ 行的顺序就很好，不需要再进行交换，可以进行 $LU$ 分解：$$P=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],PA=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 2& 3& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 0& 1& 1\\ 0& 0& 4\end{array}\right]=LU(\mathrm{2.7.7})$$从 $A$ 开始，到 $U$ 结束，唯一的条件就是 $A$ 是可逆的。

如果 $A$ 是可逆矩阵，置换矩阵 $P$ 将 $A$ 的行交换成正确的顺序，然后可以分解为 $PA=LU$。行交换后必需存在一整组主元使得 $A$ 可逆。

七、主要内容总结

1. 转置使矩阵 $A$ 的行变成 $A^T$ 的列，有 $(A^T{)}_{ij}=A_{ji}$。
2. $AB$ 的转置是 $B^T{A}^T$，$A^{-1}$ 的转置是 $A^T$ 的逆矩阵。
3. 点积就是 $\mathbf{x}\cdot \mathbf{y}={\mathbf{x}}^T\mathbf{y}$。$(A\mathbf{x}{)}^T\mathbf{y}={\mathbf{x}}^T(A^T\mathbf{y})$。
4. 若 $S$ 是对称矩阵（$S^T=S$），它的 $LDU$ 分解也是对称的：$S=LD{L}^T$。
5. 置换矩阵 $P$ 的每一行每一列有且仅有一个 $1$，且有 $P^T=P^{-1}$。
6. 阶数为 $n$ 的置换矩阵共有 $n!$ 个。
7. 如果 $A$ 可逆，置换矩阵 $P$ 可以重新排列 $A$ 的行，则有 $PA=LU$。

八、导数的转置

从矩阵变成导数，有 $A=\text{d}/\text{d}t$，为了求出 $A$ 的转置，我们需要定义两个函数 $x(t)$ 和 $y(t)$ 的内积：两个函数的内积就是 $x(t)y(t)$ 的积分

$$函数的内积x^{T}y=(x,y)={\int }_{-\infty }^{+\infty }x(t)y(t)\text{d}t$$

对于导数来说，使用伴随 (adjoint) 比使用转置来说更准确。
矩阵的转置 $(A\mathbf{x}{)}^{T}y={\mathbf{x}}^T(A^{T}y)$。$A=\frac{\text{d}}{\text{d}t}$ 的伴随有$$(Ax,y)={\int }_{-\infty }^{+\infty }\frac{\text{d}x}{\text{d}t}y(t)\text{d}t={\int }_{-\infty }^{+\infty }x(t)(-\frac{\text{d}y}{\text{d}t})\text{d}t=(x,A^{T}y)$$导数从第一个函数 $x(t)$ 移到第二个函数 $y(t)$ 时，出现了一个负号，即导数的转置就是导数的相反数。
导数是反对称的，$A=\text{d}/\text{d}t，A^T=-\text{d}/\text{d}t$。对称矩阵有 $S^T=S$，反对称矩阵有 $A^T=-A$，导数和积分都是线性的。
导数的反对称可以应用到中心差分矩阵：$$A=\left[\begin{array}{cccc}0& 1& 0& 0\\ -1& 0& 1& 0\\ 0& -1& 0& 1\\ 0& 0& -1& 0\end{array}\right]转置成A^T=\left[\begin{array}{cccc}0& -1& 0& 0\\ 1& 0& -1& 0\\ 0& 1& 0& -1\\ 0& 0& 1& 0\end{array}\right]=-A$$前向差分矩阵的转置变成了后向差分矩阵，相当于乘 $-1$。在微分方程中，第二导数（加速度）是对称的，第一导数（正比于速度的阻尼）是反对称的。

九、例题

【例4】应用置换矩阵 $P$ 到对称矩阵 $S$ 的行会破坏其对称性。$$P=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right],S=\left[\begin{array}{ccc}1& 4& 5\\ 4& 2& 6\\ 5& 6& 3\end{array}\right],PS=\left[\begin{array}{ccc}4& 2& 6\\ 5& 6& 3\\ 1& 4& 5\end{array}\right]$$什么样的置换矩阵 $Q$ 应用到 $PS$ 的列可以恢复其对称性？即 $PSQ$ 是对称矩阵。$S$ 主对角线上的数字 $1,2,3$ 一定再次要回到主对角线上（不一定是在原来的位置）。证明 $Q=P^T$，因此 $PS{P}^T$ 是对称矩阵。
解： 要恢复其对称性，$2$ 要回到对角线上，所以 $PS$ 列 $2$ 需要在列 $1$ 的位置；$3$ 回到对角线上，则列 $3$ 要移到列 $2$；同理列 $1$ 移到列 $3$ 的位置，故可得到列交换矩阵 $Q$：$$PS=\left[\begin{array}{ccc}4& 2& 6\\ 5& 6& 3\\ 1& 4& 5\end{array}\right],Q=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right],PSQ=\left[\begin{array}{ccc}2& 6& 4\\ 6& 3& 5\\ 4& 5& 1\end{array}\right]$$$PSQ$ 是对称矩阵，$Q$ 就是 $P^T$。这是因为若 $S$ 是对称矩阵，则 $PS{P}^T$ 也是对称矩阵，因为 $(PS{P}^T{)}^T=(P^T{)}^T{S}^T{P}^T=PS{P}^T$。矩阵 $Q$ 也是 $P^{-1}$，因为 $P$ 是置换矩阵，置换矩阵有 $P^T=P^{-1}$。
如果 $D$ 是对角矩阵，那么 $PD{P}^T$ 也是对角矩阵。左侧的 $P$ 将行 $1$ 下移到行 $3$，右侧的 $P^T$ 会将列 $1$ 移到列 $3$，即将主对角线上的元素从 $(1,1)$ 移到 $(3,1)$ 再移到 $(3,3)$，它仍然在对角线上。

【例5】对于上例矩阵 $S$，将其分解成对称形式 $S=LD{L}^T$。
解： 要将 $S$ 分解为 $LD{L}^T$，需要使用消元法得到 $U$：$$S=\left[\begin{array}{ccc}1& 4& 5\\ 4& 2& 6\\ 5& 6& 3\end{array}\right]\to \left[\begin{array}{ccc}1& 4& 5\\ 0& -14& -14\\ 0& -14& -22\end{array}\right]\to \left[\begin{array}{ccc}1& 4& 5\\ 0& -14& -14\\ 0& 0& -8\end{array}\right]=U$$消元过程中使用的乘数 $l_{21}=4$，$l_{31}=5$，$l_{32}=1$。将主元 $1，-14，-8$ 放入到对角矩阵 $D$ 中，若将 $U$ 的每行都除以改行的主元，会得到 $L^T$：$$\begin{array}{c}当S=S^T时\\ 的对称分解\end{array}S=LD{L}^T=\left[\begin{array}{ccc}1& 0& 0\\ 4& 1& 0\\ 5& 1& 1\end{array}\right]\left[\begin{array}{ccc}1& & \\ & -14& \\ & & -8\end{array}\right]\left[\begin{array}{ccc}1& 4& 5\\ 0& 1& 1\\ 0& 0& 1\end{array}\right]$$对称矩阵 $S$ 是可逆的，因为它有 $3$ 个主元，它的逆矩阵 $S^{-1}=(L^T{)}^{-1}{D}^{-1}{L}^{-1}$ 也是对称矩阵。

【例6】$A$ 是一个矩阵矩阵，鞍点（saddle-point）矩阵 $S$ 是对称的：$$来自最小二乘的分块矩阵S=\left[\begin{array}{cc}I& A\\ A^T& 0\end{array}\right]=S^T其大小是m+n$$注：一个矩阵的鞍点是该位置上的元素所在行上最大，所在列上最小。
利用分块消元可以得到分块矩阵的分解 $S=LD{L}^T$，然后测试其可逆性：$$S可逆⟺A^{T}A可逆⟺若\mathbf{x}\ne 0，则A\mathbf{x}\ne 0$$解： 第一个分块的主元是 $I$，行 $2$ 减去 $A^T$ 乘行 $1$：$$分块消元S=\left[\begin{array}{cc}I& A\\ A^T& 0\end{array}\right]\to \left[\begin{array}{cc}I& A\\ 0& -A^{T}A\end{array}\right]=U$$分块主元矩阵 $D$ 包含 $I$ 和 $-A^{T}A$，$L$ 和 $L^T$ 包含 $A^T$ 和 $A$：

$$分块分解S=LD{L}^T=\left[\begin{array}{cc}I& 0\\ A^T& I\end{array}\right]\left[\begin{array}{cc}I& 0\\ 0& -A^{T}A\end{array}\right]\left[\begin{array}{cc}I& A\\ 0& I\end{array}\right]$$

$L$ 一定可逆，因为它的对角线都是 $1$。中间矩阵的逆矩阵与 $(A^{T}A{)}^{-1}$ 有关。下面是关于 $A^{T}A$ 的问题：

$A^{T}A$ 什么时候可逆？ 答：$A$ 必须有无关列。
只有当 $\mathbf{x}=0$ 时，才有 $A\mathbf{x}=0$，否则 $A\mathbf{x}=0$ 会得到 $A^{T}A\mathbf{x}=0。$