5、矩阵分析：特征值分解、瑞利商及矩阵微分

矩阵分析：特征值分解、瑞利商及矩阵微分

1. 埃尔米特矩阵的特征值分解

在统计和信息科学领域，我们常常会遇到实对称矩阵或埃尔米特（复共轭对称）矩阵。例如，实测量数据向量的自相关矩阵是实对称的，而复测量数据向量的自相关矩阵则是埃尔米特矩阵。下面我们来详细探讨埃尔米特矩阵的特征值和特征向量的相关性质。

1.1 埃尔米特矩阵的特征值与特征向量性质

• 特征值为实数 ：埃尔米特矩阵 (A) 的特征值必定是实数。
• 逆矩阵的特征对 ：若 ((\lambda, u)) 是埃尔米特矩阵 (A) 的一个特征对，且 (A) 可逆，那么 ((1/\lambda, u)) 就是矩阵 (A^{-1}) 的一个特征对。
• 秩与重数关系 ：若 (\lambda_k) 是埃尔米特矩阵 (A^H = A) 的一个重特征值，其重数为 (m_k)，则 (\text{rank}(A - \lambda_k I) = n - m_k)。
• 可对角化 ：任何埃尔米特矩阵 (A) 都可对角化，即 (U^{-1}AU = \Lambda)。
• 特征向量性质 ：埃尔米特矩阵的所有特征向量线性无关且相互正交，特征矩阵 (U = [u_1, u_2, \ldots, u_n]) 是酉矩阵，满足 (U^{-1} = U^H)。
• 谱分解 ：由上述性质可得 (U^HAU = \Lambda