10、矩阵分解：特征分解、对角化与奇异值分解

矩阵分解：特征分解、对角化与奇异值分解

1. 乔列斯基分解

乔列斯基分解是针对对称正定矩阵的一种分解方法。对于一个 $3\times3$ 的对称正定矩阵 $A$，可以将其分解为 $A = LL^T$ 的形式，其中 $L$ 是一个下三角矩阵。

1.1 分解公式

• 对角元素：
• $l_{11} = \sqrt{a_{11}}$
• $l_{22} = \sqrt{a_{22} - l_{21}^2}$
• $l_{33} = \sqrt{a_{33} - (l_{31}^2 + l_{32}^2)}$
• 非对角元素：
• $l_{21} = \frac{1}{l_{11}}a_{21}$
• $l_{31} = \frac{1}{l_{11}}a_{31}$
• $l_{32} = \frac{1}{l_{22}}(a_{32} - l_{31}l_{21})$

1.2 应用

乔列斯基分解在机器学习的数值计算中非常重要，例如在处理多元高斯变量的协方差矩阵时，通过对协方差矩阵进行乔列斯基分解，可以高效地生成高斯分布的样本，还能进行随机变量的线性变换，并且在计算矩阵的行列式时也很高效，因为 $\det(A) = \det(L)\det(L^T) = \det(L)^2$，而 $L$ 是三角矩阵，其行列式就是对角元素的乘积。

2. 特征分解与对角化

2.1 对角矩阵

对角矩阵是指除对角元素外其他元素都为零的矩