PCA向量空间推导

本文讲解了如何使用拉格朗日乘子法解决优化问题,通过标准正交列向量w将n维信息压缩到m维,最小化信息偏差。关键步骤包括构造目标函数、利用矩阵运算简化并找到最优W矩阵。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

设行向量x1,x2,……,xn∈Rn。设行向量x_1,x_2,……,x_n\in R^n。x1,x2,,xnRn
拉格朗日乘子法求解下述优化问题:                                                                                                {minimize ∑i=1N∣∣xi−∑k=1m<xi,wk>wk∣∣2subject to<wk,wl>=δi,j其中m<n,<⋅,⋅>为标准内积。 拉格朗日乘子法求解下述优化问题: \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ \left\{\begin{array}{l}minimize\ \sum_{i=1}^N ||x_i-\sum_{k=1}^m<x_i,w_k>w_k||^2\\ subject \ to <w_k,w_l>=\delta_{i,j}\end{array}\right. \\ 其中m<n,<·,·>为标准内积。                                                                                                 {minimize i=1Nxik=1m<xi,wk>wk2subject to<wk,wl>=δi,jm<n,<,>
wi∈Rn是标准正交的列向量,m<n,希望只保留wi方向上的信息,即把n维信息压缩成m维,且信息偏差尽可能小。 w_i\in R^n是标准正交的列向量,m<n,希望只保留w_i方向上的信息,即把n维信息压缩成m维,且信息偏差尽可能小。 wiRnm<n,winm

解:记xˉ=∑k=1m<xi,wk>wk,Wn,m=[w1,w2,……,wn],则xˉi=xiWWT解:记\bar x=\sum_{k=1}^m<x_i,w_k>w_k,W_{n,m}=[w_1,w_2,……,w_n] ,则\bar x_i=x_iWW^Txˉ=k=1m<xi,wk>wk,Wn,m=[w1,w2,wn],xˉi=xiWWT
目标函数∑i=1N∣∣xˉi−xi∣∣2=∑i=1mxˉixˉiT−2∑i=1mxˉixiT+∑i=1mxixiT其中∑i=1mxixiT无变量,考虑∑i=1mxˉixˉiT−2∑i=1mxˉixiT∑i=1mxˉiTxˉi中,标量xˉixˉiT因为xˉi=xiWWT,    (xiWWT)∗(xiWWT)T=xiWWTWWTxiT=xiW(WTW)WTxiT=xiW(Im,m)WTxiT∑i=1mxˉixiT中,xˉixiT=xiWWTxiT所以目标函数=−∑i=1nxiWWTxiT 目标函数\sum_{i=1}^N ||\bar x_i-x_i||^2=\sum_{i=1}^{m}\bar x_i\bar x_i^T-2\sum_{i=1}^m\bar x_ix_i^T+\sum_{i=1}^mx_ix_i^T\\ 其中\sum_{i=1}^mx_ix_i^T无变量,考虑\sum_{i=1}^{m}\bar x_i\bar x_i^T-2\sum_{i=1}^m\bar x_ix_i^T\\ \sum_{i=1}^{m}\bar x_i^T\bar x_i中,标量\bar x_i\bar x_i^T 因为\bar x_i=x_iWW^T,\ \ \ \ \\ (x_iWW^T)*(x_iWW^T)^T=x_iWW^TWW^Tx_i^T=x_iW(W^TW)W^Tx_i^T=x_iW(I_{m,m})W^Tx_i^T\\ \sum_{i=1}^m\bar x_ix_i^T中,\bar x_ix_i^T=x_iWW^Tx_i^T \\ 所以目标函数= -\sum_{i=1}^n x_iWW^Tx_i^T i=1Nxˉixi2=i=1mxˉixˉiT2i=1mxˉixiT+i=1mxixiTi=1mxixiTi=1mxˉixˉiT2i=1mxˉixiTi=1mxˉiTxˉixˉixˉiTxˉi=xiWWT,    (xiWWT)(xiWWT)T=xiWWTWWTxiT=xiW(WTW)WTxiT=xiW(Im,m)WTxiTi=1mxˉixiTxˉixiT=xiWWTxiT=i=1nxiWWTxiT
对于矩阵乘法的迹:tr(AB)=∑i∑jAi,jBj,i或tr(ATB)=∑i∑jAi,jBi,j所以,A=B=(XTW),原目标函数=−tr(WTXXTW)对于矩阵乘法的迹: tr(AB)=\sum_{i}\sum_{j}A_{i,j}B_{j,i}或tr(A^T B)=\sum_{i}\sum_{j}A_{i,j}B_{i,j}\\ 所以,A=B=(X^TW),原目标函数=-tr(W^TXX^TW) tr(AB)=ijAi,jBj,itr(ATB)=ijAi,jBi,jA=B=(XTW),=tr(WTXXTW)
L(W,λ)=−tr(WTXXTW+λ(WTW−I))∵{tr(XAXT)}′=X(A+AT)∴  L′(W,λ)W=2∗(−XXTW+λ(W−I))=0XXTW=λW,即W为XXT的特征向量组成的矩阵 L(W,\lambda)=-tr(W^TXX^TW+\lambda (W^TW-I))\\ \because \{tr(XAX^T)\}'=X(A+A^T)\\ \therefore \ \ L'(W,\lambda)_W=2*(-XX^TW+\lambda (W-I))=0\\ XX^TW=\lambda W,即W为XX^T的特征向量组成的矩阵 L(Wλ)=tr(WTXXTW+λ(WTWI)){tr(XAXT)}=X(A+AT)  L(Wλ)W=2(XXTW+λ(WI))=0XXTW=λW,WXXT


基于最大投影方差:

在这里插入图片描述

∑ixi=0,E(yi)=E(xi∗w)=0yi=xiw,即为上述情况m=1(W=w)的情形 \sum_i x_i=0,E(y_i)=E(x_i*w)=0\\y_i=x_iw,即为上述情况m=1(W=w)的情形 ixi=0,E(yi)=E(xiw)=0yi=xiw,m=1W=w

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值