图优化之边缘化

图优化中的边缘化是SLAM中的重点和难点，其理论性复杂，不易理解，尤其是海森矩阵与协方差矩阵的关系更令人费解，从概率角度和矩阵消元角度解释图优化中的边缘化过程，并从数学上严格论证这两个理解角度的高度内在一致性。

图优化之边缘化

从信息融合的角度，边缘化的过程也可以解释为减少待求解量维度，只求解感兴趣的部分，而将不感兴趣的部分去掉，同时保留去掉部分的信息。总而言之，边缘化是为了有效地整合信息，同时保持系统变量的简洁性和可管理性。边缘化有两种解释。

1、概率解释

边缘化即从全体变量的联合分布中得到部分变量的边缘分布。通常用于在不丢失信息的情况下，移除不需要的变量。

下面推导全体增量的联合分布并得到部分增量的边缘分布

根据前文的讨论，可得
$${\mathbf{x}}^{\ast }=\underset{\mathbf{x}}{\mathrm{argmin}}\sum _{({\mathbf{x}}_i,{\mathbf{x}}_j)\in C}{\mathbf{e}}_{ij}(\mathbf{x}{)}^T{\mathbf{\Omega }}_{ij}{\mathbf{e}}_{ij}(\mathbf{x})$$
上式实际上是认为误差向量${\mathbf{e}}_{ij}(\mathbf{x})$服从以$0$为均值，${\mathbf{\Omega }}_{ij}^{-1}$为协方差矩阵的正态分布，即
$${\mathbf{e}}_{ij}(\mathbf{x})\sim \mathcal{N}(0,{\mathbf{\Omega }}_{ij}^{-1})\text{\hspace{1em}(12)}$$
并求解最大似然估计问题
$${\mathbf{x}}^{\ast }=\underset{\mathbf{x}}{\mathrm{argmax}}\prod _{({\mathbf{x}}_i,{\mathbf{x}}_j)\in C}p({\mathbf{e}}_{ij}(\mathbf{x}))\text{\hspace{1em}(13)}$$
每步迭代中，需要用$\Delta {\mathbf{x}}_k$更新${\mathbf{x}}_k$，下面求解$\Delta {\mathbf{x}}_k$的概率分布$p(\Delta {\mathbf{x}}_k)$

将${\mathbf{e}}_{ij}({\mathbf{x}}_k\oplus \Delta {\mathbf{x}}_k)$在当前状态${\mathbf{x}}_k$处进行泰勒展开
$${\mathbf{e}}_{ij}({\mathbf{x}}_k\oplus \Delta {\mathbf{x}}_k)\approx {\mathbf{e}}_{ij}({\mathbf{x}}_k)+{\mathbf{J}}_{ij}\Delta {\mathbf{x}}_k$$
略写部份量的下标$k$，下同

由上式知，${\mathbf{e}}_{ij}({\mathbf{x}}_k\oplus \Delta {\mathbf{x}}_k)$的不确定性来完全来源于$\Delta {\mathbf{x}}_k$，反过来说，$\Delta {\mathbf{x}}_k$的不确定性也可用${\mathbf{e}}_{ij}({\mathbf{x}}_k\oplus \Delta {\mathbf{x}}_k)$的不确定性来表示
$$p(\Delta {\mathbf{x}}_k)=\prod _{({\mathbf{x}}_i,{\mathbf{x}}_j)\in C}p({\mathbf{e}}_{ij}({\mathbf{x}}_k\oplus \Delta {\mathbf{x}}_k))=\eta \prod _{({\mathbf{x}}_i,{\mathbf{x}}_j)\in C}\exp \left(-\frac{1}{2}{\left({\mathbf{J}}_{ij}\Delta {\mathbf{x}}_k+{\mathbf{e}}_{ij}({\mathbf{x}}_k)\right)}^T{\mathbf{\Omega }}_{ij}\left({\mathbf{J}}_{ij}\Delta {\mathbf{x}}_k+{\mathbf{e}}_{ij}({\mathbf{x}}_k)\right)\right)$$
根据高斯概率密度函数的归一化积定理，可以求出
$$\begin{array}{rl}p(\Delta {\mathbf{x}}_k)& =\mathcal{N}\left({\left(\sum _{({\mathbf{x}}_i,{\mathbf{x}}_j)\in C}{\mathbf{J}}_{ij}^T{\mathbf{\Omega }}_{ij}{\mathbf{J}}_{ij}\right)}^{-1}\left(\sum _{({\mathbf{x}}_i,{\mathbf{x}}_j)\in C}{\mathbf{J}}_{ij}^T{\mathbf{\Omega }}_{ij}{\mathbf{e}}_{ij}\right),{\left(\sum _{({\mathbf{x}}_i,{\mathbf{x}}_j)\in C}{\mathbf{J}}_{ij}^T{\mathbf{\Omega }}_{ij}{\mathbf{J}}_{ij}\right)}^{-1}\right)\\ & =\mathcal{N}({\mathbf{H}}^{-1}\mathbf{b},{\mathbf{H}}^{-1})\end{array}\text{\hspace{1em}(14)}$$
不妨假设需要保留$\Delta {\mathbf{x}}_k$的前$p$维的变量$\Delta {\mathbf{x}}_{p\times 1}$，而将后$q=N-p$维的变量$\Delta {\mathbf{x}}_{q\times 1}$边缘化出去，即求$$\Delta {\mathbf{x}}_{p\times 1}$$的边缘分布为$p(\Delta {\mathbf{x}}_{p\times 1})$

首先将$(14)$写成
$$p(\Delta {\mathbf{x}}_{p\times 1},\Delta {\mathbf{x}}_{q\times 1})=\mathcal{N}\left({\left[\begin{array}{cc}{\mathbf{H}}_{p\times p}& {\mathbf{H}}_{p\times q}\\ {\mathbf{H}}_{p\times q}^T& {\mathbf{H}}_{q\times q}\end{array}\right]}^{-1}\left[\begin{array}{c}{\mathbf{b}}_{p\times 1}\\ {\mathbf{b}}_{q\times 1}\end{array}\right],{\left[\begin{array}{cc}{\mathbf{H}}_{p\times p}& {\mathbf{H}}_{p\times q}\\ {\mathbf{H}}_{p\times q}^T& {\mathbf{H}}_{q\times q}\end{array}\right]}^{-1}\right)$$
经分析可得到，$\Delta {\mathbf{x}}_1$的边缘分布为
$$p(\Delta {\mathbf{x}}_{p\times 1})=\mathcal{N}\left({\left({\mathbf{H}}_{p\times p}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{H}}_{p\times q}^T\right)}^{-1}\left({\mathbf{b}}_{p\times 1}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{b}}_{q\times 1}\right),{\left({\mathbf{H}}_{p\times p}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{H}}_{p\times q}^T\right)}^{-1}\right)\text{\hspace{1em}(15)}$$

可以根据上式取$\Delta {\mathbf{x}}_{p\times 1}$的均值作为其估计值，固定$\Delta {\mathbf{x}}_{p\times 1}$，可以得到条件分布
$$p(\Delta {\mathbf{x}}_{q\times 1}|\Delta {\mathbf{x}}_{p\times 1})=\mathcal{N}({\mathbf{H}}_{q\times q}^{-1}({\mathbf{b}}_{q\times 1}-{\mathbf{H}}_{p\times q}^T\Delta {\mathbf{x}}_{q\times 1}),{\mathbf{H}}_{q\times q}^{-1})\text{\hspace{1em}(16)}$$
可以根据上式取$\Delta {\mathbf{x}}_{q\times 1}$的均值作为其估计值。

2、增量方程消元解释

边缘化的过程还可以从增量方程的角度解释
$$\left[\begin{array}{cc}{\mathbf{H}}_{p\times p}& {\mathbf{H}}_{p\times q}\\ {\mathbf{H}}_{p\times q}^T& {\mathbf{H}}_{q\times q}\end{array}\right]\left[\begin{array}{c}\Delta {\mathbf{x}}_{p\times 1}\\ \Delta {\mathbf{x}}_{q\times 1}\end{array}\right]=\left[\begin{array}{c}{\mathbf{b}}_{p\times 1}\\ {\mathbf{b}}_{q\times 1}\end{array}\right]\text{\hspace{1em}(17)}$$
将$\Delta {\mathbf{x}}_{q\times 1}$边缘化出去，得到$\Delta {\mathbf{x}}_{p\times 1}$的边缘分布的均值的过程，等价于对海森矩阵进行高斯消元，消去右上角部分${\mathbf{H}}_{p\times q}$，即将上式等号左右乘以高斯消元矩阵，即
$$\left[\begin{array}{cc}\mathbf{I}& -{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}\\ \mathbf{O}& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{H}}_{p\times p}& {\mathbf{H}}_{p\times q}\\ {\mathbf{H}}_{p\times q}^T& {\mathbf{H}}_{q\times q}\end{array}\right]\left[\begin{array}{c}\Delta {\mathbf{x}}_{p\times 1}\\ \Delta {\mathbf{x}}_{q\times 1}\end{array}\right]=\left[\begin{array}{cc}\mathbf{I}& -{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}\\ \mathbf{O}& \mathbf{I}\end{array}\right]\left[\begin{array}{c}{\mathbf{b}}_{p\times 1}\\ {\mathbf{b}}_{q\times 1}\end{array}\right]$$
化简得到
$$\left[\begin{array}{cc}{\mathbf{H}}_{p\times p}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{H}}_{p\times q}^T& \mathbf{O}\\ {\mathbf{H}}_{p\times q}^T& {\mathbf{H}}_{q\times q}\end{array}\right]\left[\begin{array}{c}\Delta {\mathbf{x}}_{p\times 1}\\ \Delta {\mathbf{x}}_{q\times 1}\end{array}\right]=\left[\begin{array}{c}{\mathbf{b}}_{p\times 1}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{b}}_{q\times 1}\\ {\mathbf{b}}_{q\times 1}\end{array}\right]\text{\hspace{1em}(18)}$$
上式第一行成为与$\Delta {\mathbf{x}}_{q\times 1}$无关的量，将其单独取出
$$\left({\mathbf{H}}_{p\times p}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{H}}_{p\times q}^T\right)\Delta {\mathbf{x}}_{p\times 1}={\mathbf{b}}_{p\times 1}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{b}}_{q\times 1}\text{\hspace{1em}(19)}$$
根据上式可以解出
$$\Delta {\mathbf{x}}_{p\times 1}={\left({\mathbf{H}}_{p\times p}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{H}}_{p\times q}^T\right)}^{-1}({\mathbf{b}}_{p\times 1}-{\mathbf{H}}_{p\times q}{\mathbf{H}}_{q\times q}^{-1}{\mathbf{b}}_{q\times 1})\text{\hspace{1em}(20)}$$
与$(15)$中的结果一致。

固定$\Delta {\mathbf{x}}_{p\times 1}$，得到已知$\Delta {\mathbf{x}}_{p\times 1}$条件下$\Delta {\mathbf{x}}_{q\times 1}$的条件分布均值的过程等价于固定根据$(19)$解出的$\Delta {\mathbf{x}}_{p\times 1}$，根据$(18)$第二行解出
$$\Delta {\mathbf{x}}_{q\times 1}={\mathbf{H}}_{q\times q}^{-1}({\mathbf{b}}_{q\times 1}-{\mathbf{H}}_{p\times q}^T\Delta {\mathbf{x}}_{p\times 1})\text{\hspace{1em}(21)}$$
上式中的结果与$(16)$一致。

综上可得到，概率角度解释的边缘化与矩阵消元角度解释的边缘化具有高度一致性。

§、从联合分布中分离先验概率和条件概率

现有两个随机变量$\mathbf{x}\in {\mathbb{R}}^{p\times 1}$和$\mathbf{y}\in {\mathbb{R}}^{q\times 1}$，下面根据其联合分布$p(\mathbf{x},\mathbf{y})$求解边缘分布$p(\mathbf{x}),p(\mathbf{y})$，和条件分布$p(\mathbf{x}|\mathbf{y}),p(\mathbf{y}|\mathbf{x})$

为方便推导，假定均值为$0$，若实际均值非零，做代换$\mathbf{x}=\mathbf{x}-{\mathbf{\mu }}_{p\times 1}$，$\mathbf{y}=\mathbf{y}-{\mathbf{\mu }}_{q\times 1}$即可，代换后不影响协方差矩阵的结果

§1、从协方差矩阵表示的联合分布中分离先验概率和条件概率

若联合概率分布用协方差矩阵表示
$$p(\mathbf{x},\mathbf{y})=\eta \exp \left(-\frac{1}{2}{\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]}^T{\left[\begin{array}{cc}{\mathbf{\Sigma }}_{p\times p}& {\mathbf{\Sigma }}_{p\times q}\\ {\mathbf{\Sigma }}_{p\times q}^T& {\mathbf{\Sigma }}_{q\times q}\end{array}\right]}^{-1}\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]\right)\text{\hspace{1em}(A4)}$$
记协方差矩阵为$\mathbf{\Sigma }$，因为${\mathbf{\Sigma }}_{q\times q}$可逆，故可将$\mathbf{\Lambda }$做分解
$$\mathbf{\Sigma }=\left[\begin{array}{cc}{\mathbf{\Sigma }}_{p\times p}& {\mathbf{\Sigma }}_{p\times q}\\ {\mathbf{\Sigma }}_{p\times q}^T& {\mathbf{\Sigma }}_{q\times q}\end{array}\right]=\left[\begin{array}{cc}\mathbf{I}& {\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}\\ \mathbf{O}& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{\Sigma }}_{p\times p}-{\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}^T& \mathbf{O}\\ \mathbf{O}& {\mathbf{\Sigma }}_{q\times q}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& \mathbf{O}\\ {\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}^T& \mathbf{I}\end{array}\right]$$
因此协方差矩阵的逆为
$${\mathbf{\Sigma }}^{-1}=\left[\begin{array}{cc}\mathbf{I}& \mathbf{O}\\ -{\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}({\mathbf{\Sigma }}_{p\times p}-{\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}^T{)}^{-1}& \mathbf{O}\\ \mathbf{O}& {\mathbf{\Sigma }}_{q\times q}^{-1}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& -{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}^T\\ \mathbf{O}& \mathbf{I}\end{array}\right]$$
将分解结果代入$(A4)$可得
$$p(\mathbf{x},\mathbf{y})=\eta \exp \left((\mathbf{x}-{\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}\mathbf{y}{)}^T({\mathbf{\Sigma }}_{p\times p}-{\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}^T{)}^{-1}(\mathbf{x}-{\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}\mathbf{y})\right)\exp ({\mathbf{y}}^T{\mathbf{\Sigma }}_{q\times q}^{-1}\mathbf{y})$$
因此可以得到
$$\begin{array}{rl}p(\mathbf{y})& =\mathcal{N}(0,{\mathbf{\Sigma }}_{q\times q})\\ p(\mathbf{x}|\mathbf{y})& =\mathcal{N}({\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}\mathbf{y},{\mathbf{\Sigma }}_{p\times p}-{\mathbf{\Sigma }}_{p\times q}{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}^T)\end{array}\text{\hspace{1em}(A5)(A6)}$$
故可将$\mathbf{\Lambda }$做分解
$$\mathbf{\Sigma }=\left[\begin{array}{cc}{\mathbf{\Sigma }}_{p\times p}& {\mathbf{\Sigma }}_{p\times q}\\ {\mathbf{\Sigma }}_{p\times q}^T& {\mathbf{\Sigma }}_{q\times q}\end{array}\right]=\left[\begin{array}{cc}\mathbf{I}& \mathbf{O}\\ {\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{p\times p}^{-1}& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{\Sigma }}_{p\times p}& \mathbf{O}\\ \mathbf{O}& {\mathbf{\Sigma }}_{q\times q}-{\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& {\mathbf{\Sigma }}_{p\times p}^{-1}{\mathbf{\Sigma }}_{p\times q}\\ \mathbf{O}& \mathbf{I}\end{array}\right]$$
因此协方差矩阵的逆可写为
$${\mathbf{\Sigma }}^{-1}=\left[\begin{array}{cc}\mathbf{I}& -{\mathbf{\Sigma }}_{p\times p}^{-1}{\mathbf{\Sigma }}_{p\times q}\\ \mathbf{O}& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{\Sigma }}_{p\times p}^{-1}& \mathbf{O}\\ \mathbf{O}& ({\mathbf{\Sigma }}_{q\times q}-{\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}{)}^{-1}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& \mathbf{O}\\ -{\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{p\times p}^{-1}& \mathbf{I}\end{array}\right]$$
将分解结果代入$(A4)$可得
$$p(\mathbf{x},\mathbf{y})=\eta \exp ({\mathbf{x}}^T{\mathbf{\Sigma }}_{p\times p}^{-1}\mathbf{x})\exp \left((\mathbf{y}-{\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{p\times p}^{-1}\mathbf{x}{)}^T({\mathbf{\Sigma }}_{q\times q}-{\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}{)}^{-1}(\mathbf{y}-{\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{p\times p}^{-1}\mathbf{x})\right)$$
故
$$\begin{array}{rl}p(\mathbf{x})& =\mathcal{N}(0,{\mathbf{\Sigma }}_{p\times p})\\ p(\mathbf{y}|\mathbf{x})& =\mathcal{N}({\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{p\times p}^{-1}\mathbf{x},{\mathbf{\Sigma }}_{q\times q}-{\mathbf{\Sigma }}_{p\times q}^T{\mathbf{\Sigma }}_{q\times q}^{-1}{\mathbf{\Sigma }}_{p\times q}^{-1})\end{array}\text{\hspace{1em}(A7)(A8)}$$

§2、从信息矩阵表示的联合分布中分离先验概率和条件概率

若联合概率分布用信息矩阵表示
$$p(\mathbf{x},\mathbf{y})=\eta \exp \left(-\frac{1}{2}{\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]}^T\left[\begin{array}{cc}{\mathbf{\Lambda }}_{p\times p}& {\mathbf{\Lambda }}_{p\times q}\\ {\mathbf{\Lambda }}_{p\times q}^T& {\mathbf{\Lambda }}_{q\times q}\end{array}\right]\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]\right)\text{\hspace{1em}(A9)}$$
记信息矩阵为$\mathbf{\Lambda }$，因为${\mathbf{\Lambda }}_{q\times q}$可逆，故可将$\mathbf{\Lambda }$做分解
$$\mathbf{\Lambda }=\left[\begin{array}{cc}{\mathbf{\Lambda }}_{p\times p}& {\mathbf{\Lambda }}_{p\times q}\\ {\mathbf{\Lambda }}_{p\times q}^T& {\mathbf{\Lambda }}_{q\times q}\end{array}\right]=\left[\begin{array}{cc}\mathbf{I}& {\mathbf{\Lambda }}_{p\times q}{\mathbf{\Lambda }}_{q\times q}^{-1}\\ \mathbf{O}& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{\Lambda }}_{p\times p}-{\mathbf{\Lambda }}_{p\times q}{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}^T& \mathbf{O}\\ \mathbf{O}& {\mathbf{\Lambda }}_{q\times q}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& \mathbf{O}\\ {\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}^T& \mathbf{I}\end{array}\right]$$
将分解结果代入$(A8)$可得
$$\begin{array}{rl}p(\mathbf{x},\mathbf{y})& =\eta \exp \left({\mathbf{x}}^T({\mathbf{\Lambda }}_{p\times p}-{\mathbf{\Lambda }}_{p\times q}{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}^T)\mathbf{x}\right)\exp \left((\mathbf{y}+{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}^T\mathbf{x}{)}^T{\mathbf{\Lambda }}_{q\times q}(\mathbf{y}+{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}^T\mathbf{x})\right)\end{array}$$
故
$$\begin{array}{rl}p(\mathbf{x})& =\mathcal{N}\left(0,({\mathbf{\Lambda }}_{p\times p}-{\mathbf{\Lambda }}_{p\times q}{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}^T{)}^{-1}\right)\\ p(\mathbf{y}|\mathbf{x})& =\mathcal{N}(-{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}^T\mathbf{x},{\mathbf{\Lambda }}_{q\times q}^{-1})\end{array}\text{\hspace{1em}(A10)(A11)}$$
将将$\mathbf{\Lambda }$做分解
$$\mathbf{\Lambda }=\left[\begin{array}{cc}{\mathbf{\Lambda }}_{p\times p}& {\mathbf{\Lambda }}_{p\times q}\\ {\mathbf{\Lambda }}_{p\times q}^T& {\mathbf{\Lambda }}_{q\times q}\end{array}\right]=\left[\begin{array}{cc}\mathbf{I}& \mathbf{O}\\ {\mathbf{\Lambda }}_{p\times q}^T{\mathbf{\Lambda }}_{p\times p}^{-1}& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{\Lambda }}_{p\times p}& \mathbf{O}\\ \mathbf{O}& {\mathbf{\Lambda }}_{q\times q}-{\mathbf{\Lambda }}_{p\times q}^T{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& {\mathbf{\Lambda }}_{p\times p}^{-1}{\mathbf{\Lambda }}_{p\times q}\\ \mathbf{O}& \mathbf{I}\end{array}\right]$$
将分解结果代入$(A8)$可得
$$\begin{array}{rl}p(\mathbf{x},\mathbf{y})& =\eta \exp \left((\mathbf{x}+{\mathbf{\Lambda }}_{p\times p}^{-1}{\mathbf{\Lambda }}_{p\times q}\mathbf{y}{)}^T{\mathbf{\Lambda }}_{p\times p}(\mathbf{x}+{\mathbf{\Lambda }}_{p\times p}^{-1}{\mathbf{\Lambda }}_{p\times q}\mathbf{y})\right)\exp \left({\mathbf{y}}^T({\mathbf{\Lambda }}_{q\times q}-{\mathbf{\Lambda }}_{p\times q}^T{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q})\mathbf{y}\right)\end{array}$$
故
$$\begin{array}{rl}p(\mathbf{y})& =\mathcal{N}\left(0,({\mathbf{\Lambda }}_{q\times q}-{\mathbf{\Lambda }}_{p\times q}^T{\mathbf{\Lambda }}_{q\times q}^{-1}{\mathbf{\Lambda }}_{p\times q}{)}^{-1}\right)\\ p(\mathbf{x}|\mathbf{y})& =\mathcal{N}(-{\mathbf{\Lambda }}_{p\times p}^{-1}{\mathbf{\Lambda }}_{p\times q}\mathbf{y},{\mathbf{\Lambda }}_{p\times p}^{-1})\end{array}\text{\hspace{1em}(A12)(A13)}$$