抄书——最优化的理论与方法(3)——数学基础(矩阵的Rayleigh商)

本文探讨了Hermit矩阵的Rayleigh商概念及其性质,包括齐次性、极性和极小残量性质,通过数学证明阐述了这些性质的合理性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

定义 1.2.4:
AAAn×nn\times nn×n Hermite 矩阵,u∈Cnu\in C^nuCn,则称:
Rλ(u)=u∗Auu∗u,u≠0(1.2.28) R_{\lambda}(u)=\frac{u^*Au}{u^*u},u\neq0 \qquad(1.2.28) Rλ(u)=uuuAu,u̸=0(1.2.28)
为 Hermite 矩阵 AAARayleigh 商(Rayleigh Quotient)
定理 1.2.5:
AAAn×nn\times nn×n Hermite 矩阵,u∈Cnu\in C^nuCn,则(1.2.28)定义的 Rayleigh 商具有下列基本性质:
(1)齐次性
Rλ(αu)=Rλ(u),α≠0(1.2.29) R_{\lambda}(\alpha u)=R_{\lambda}(u),\alpha \neq 0\qquad(1.2.29) Rλ(αu)=Rλ(u),α̸=0(1.2.29)
(2)极性
λ1=max⁡∥u∥2=1u∗Au=max⁡∥u∥≠0u∗Auu∗u(1.2.30)λn=min⁡∥u∥2=1u∗Au=min⁡∥u∥≠0u∗Auu∗u(1.2.31) \lambda_1=\max_{\Vert u \Vert_2=1} u^*Au = \max_{\Vert u \Vert \neq 0}\frac{u^*Au}{u^*u}\qquad(1.2.30)\\ \lambda_n=\min_{\Vert u \Vert_2=1} u^*Au = \min_{\Vert u \Vert \neq 0}\frac{u^*Au}{u^*u}\qquad(1.2.31) λ1=u2=1maxuAu=u̸=0maxuuuAu(1.2.30)λn=u2=1minuAu=u̸=0minuuuAu(1.2.31)
这表明 Rayleigh 商具有有界性
λn≤Rλ(u)≤λ1(1.2.32) \lambda_n\le R_{\lambda}(u) \le \lambda_1 \qquad(1.2.32) λnRλ(u)λ1(1.2.32)
(3)极小残量性质:对任意 u∈Cnu\in C^nuCn
∥(A−Rλ(u)I)u∥≤∥(A−μI)u∥,∀μ∈R(1.2.33) \Vert (A-R_{\lambda}(u)I)u\Vert \le \Vert(A-\mu I)u\Vert,\quad\forall \mu\in R\qquad(1.2.33) (ARλ(u)I)u(AμI)u,μR(1.2.33)
证明:
性质(1)从定义 1.2.4 可以直接得到。
由于性质(1),我们可以在单位球面 ∥x∥2=1\Vert x \Vert_2 =1x2=1 上讨论 Rayleigh商,即
Rλ(u)=u∗Au,∥u∥2=1 R_{\lambda}(u) = u^*Au,\quad \Vert u \Vert_2=1 Rλ(u)=uAu,u2=1
设酉矩阵 TTTAAA 化为对角矩阵,T∗AT=ΛT^*AT=\LambdaTAT=Λ这是由AAA 是 Hermite 矩阵得到的), 又设 u=Ty⇒y=T∗uu=Ty \Rightarrow y=T^*uu=Tyy=Tu,则
u∗Au=u∗TΛT∗u=y∗Λy=∑i=1nλi∣yi∣2{≥λn∑i=1n∣yi∣2≤λ1∑i=1n∣yi∣2 u^*Au=u^*T\Lambda T^*u = y^* \Lambda y=\sum_{i=1}^{n}\lambda_i \vert y_i \vert^2 \left\{ \begin{array}{c}\ge \lambda_n \sum_{i=1}^{n}\vert y_i\vert^2\\ \le \lambda_1 \sum_{i=1}^{n}\vert y_i\vert^2 \end{array}\right. uAu=uTΛTu=yΛy=i=1nλiyi2{λni=1nyi2λ1i=1nyi2
注意到 ∥u∥2=∥y∥2=1\Vert u \Vert_2=\Vert y \Vert_2=1u2=y2=1,因而有界性得到,并且当 y1=1,yi=0,i≠1y_1=1,y_i=0,i\neq 1y1=1,yi=0,i̸=1时,极大值 λ1\lambda_1λ1 达到;当 yn=1,yj=0,j≠ny_n=1,y_j=0,j\neq nyn=1,yj=0,j̸=n时,极小值 λn\lambda_nλn 达到,从而性质(2)成立。
为了证明性质(3),我们定义
s(u)=Au−Rλ(u)u,u≠0(1.2.34) s(u)=Au-R_{\lambda}(u)u,\quad u\neq 0\qquad(1.2.34) s(u)=AuRλ(u)u,u̸=0(1.2.34)
于是有
Au=s(u)+Rλ(u)u(1.2.35) Au=s(u)+R_{\lambda}(u)u \qquad(1.2.35) Au=s(u)+Rλ(u)u(1.2.35)
由于
(s(u),u)=(Au−Rλ(u)u,u)=u∗(Au−Rλ(u)u)=u∗Au−u∗Rλ(u)u=0 (s(u),u)=(Au-R_{\lambda}(u)u,u)=u^*(Au-R_{\lambda}(u)u)=u^*Au-u^*R_{\lambda}(u)u=0 (s(u),u)=(AuRλ(u)u,u)=u(AuRλ(u)u)=uAuuRλ(u)u=0
可知 AAA 的分解(1.2.35)是直交分解,从而 Rλ(u)uR_{\lambda}(u)uRλ(u)uAuAuAuL={u}L=\{ u\}L={u} 上的直交投影,从而(1.2.34)定义的残量具有极小性质(3)。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值