瑞利商
瑞利商
首先给出瑞利商的定义
R ( A , x ) = x T A x x T x R(A,x) = \frac{x^TAx}{x^Tx} R(A,x)=xTxxTAx
A A A 为一个 n ∗ n n*n n∗n的对称矩阵。
它经常在一些统计问题中出现,因此在此记录其性质
我们记 A A A 的特征值以及对应的特征向量为 λ 1 , λ 2 , . . . , λ n ; v 1 , v 2 , . . . , v n \lambda_1,\lambda_2,...,\lambda_n;v_1,v_2,...,v_n λ1,λ2,...,λn;v1,v2,...,vn;且有
λ m i n = λ 1 ≤ λ 2 ≤ . . . ≤ λ n = λ m a x \lambda_{min} = \lambda_1 \leq \lambda_2 \leq ... \leq\lambda_n = \lambda_{max} λmin=λ1≤λ2≤...≤λn=λmax
则瑞利商的性质为:
max x R ( A , x ) = λ n \max_xR(A,x) = \lambda_n xmaxR(A,x)=λn min x R ( A , x ) = λ 1 \min_xR(A,x) = \lambda_1 xminR(A,x)=λ1
下面给出证明
由于 A A A 为对称矩阵,所以存在一个正交矩阵 U U U 使其特征值分解为 M = U Γ U T M = U\Gamma U^T M=UΓUT
其中 Γ = d i a g ( λ 1 , λ 2 , . . . , λ n ) \Gamma = diag(\lambda_1,\lambda_2,...,\lambda_n) Γ=diag(λ1,λ2,...,λn) 为只由 A A A 的特征值构成对角线值的矩阵。
如此,我们将初始形式转化为
R ( A , x ) = x T U Γ U T x x T x = ( U T x ) T Γ ( U T x ) x T x \begin{aligned} R(A,x) & = \frac{x^TU\Gamma U^Tx}{x^Tx} \\ & = \frac{(U^Tx)^T\Gamma(U^Tx)}{x^Tx} \end{aligned} R(A,x)=xTxxTUΓUTx=xTx(UTx)TΓ(UTx)
令 y = U T x y = U^Tx y=UTx
我们有
R ( A , x ) = y T Γ y x T x = ∑ i = 1 n λ i ∣ y i ∣ 2 ∑ i = 1 n ∣ x i ∣ 2 \begin{aligned} R(A,x) & = \frac{y^T\Gamma y}{x^Tx} \\ & = \frac{\sum^n_{i = 1}\lambda_i|y_i|^2}{\sum^n_{i=1}|x_i|^2} \end{aligned} R(A,x)=xTxyTΓy