设行向量x1,x2,……,xn∈Rn。设行向量x_1,x_2,……,x_n\in R^n。设行向量x1,x2,……,xn∈Rn。
拉格朗日乘子法求解下述优化问题: {minimize ∑i=1N∣∣xi−∑k=1m<xi,wk>wk∣∣2subject to<wk,wl>=δi,j其中m<n,<⋅,⋅>为标准内积。
拉格朗日乘子法求解下述优化问题:
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\
\left\{\begin{array}{l}minimize\ \sum_{i=1}^N ||x_i-\sum_{k=1}^m<x_i,w_k>w_k||^2\\
subject \ to <w_k,w_l>=\delta_{i,j}\end{array}\right. \\
其中m<n,<·,·>为标准内积。
拉格朗日乘子法求解下述优化问题: {minimize ∑i=1N∣∣xi−∑k=1m<xi,wk>wk∣∣2subject to<wk,wl>=δi,j其中m<n,<⋅,⋅>为标准内积。
wi∈Rn是标准正交的列向量,m<n,希望只保留wi方向上的信息,即把n维信息压缩成m维,且信息偏差尽可能小。
w_i\in R^n是标准正交的列向量,m<n,希望只保留w_i方向上的信息,即把n维信息压缩成m维,且信息偏差尽可能小。
wi∈Rn是标准正交的列向量,m<n,希望只保留wi方向上的信息,即把n维信息压缩成m维,且信息偏差尽可能小。
解:记xˉ=∑k=1m<xi,wk>wk,Wn,m=[w1,w2,……,wn],则xˉi=xiWWT解:记\bar x=\sum_{k=1}^m<x_i,w_k>w_k,W_{n,m}=[w_1,w_2,……,w_n]
,则\bar x_i=x_iWW^T解:记xˉ=∑k=1m<xi,wk>wk,Wn,m=[w1,w2,……,wn],则xˉi=xiWWT
目标函数∑i=1N∣∣xˉi−xi∣∣2=∑i=1mxˉixˉiT−2∑i=1mxˉixiT+∑i=1mxixiT其中∑i=1mxixiT无变量,考虑∑i=1mxˉixˉiT−2∑i=1mxˉixiT∑i=1mxˉiTxˉi中,标量xˉixˉiT因为xˉi=xiWWT, (xiWWT)∗(xiWWT)T=xiWWTWWTxiT=xiW(WTW)WTxiT=xiW(Im,m)WTxiT∑i=1mxˉixiT中,xˉixiT=xiWWTxiT所以目标函数=−∑i=1nxiWWTxiT
目标函数\sum_{i=1}^N ||\bar x_i-x_i||^2=\sum_{i=1}^{m}\bar x_i\bar x_i^T-2\sum_{i=1}^m\bar x_ix_i^T+\sum_{i=1}^mx_ix_i^T\\
其中\sum_{i=1}^mx_ix_i^T无变量,考虑\sum_{i=1}^{m}\bar x_i\bar x_i^T-2\sum_{i=1}^m\bar x_ix_i^T\\
\sum_{i=1}^{m}\bar x_i^T\bar x_i中,标量\bar x_i\bar x_i^T 因为\bar x_i=x_iWW^T,\ \ \ \ \\
(x_iWW^T)*(x_iWW^T)^T=x_iWW^TWW^Tx_i^T=x_iW(W^TW)W^Tx_i^T=x_iW(I_{m,m})W^Tx_i^T\\
\sum_{i=1}^m\bar x_ix_i^T中,\bar x_ix_i^T=x_iWW^Tx_i^T
\\
所以目标函数= -\sum_{i=1}^n x_iWW^Tx_i^T
目标函数i=1∑N∣∣xˉi−xi∣∣2=i=1∑mxˉixˉiT−2i=1∑mxˉixiT+i=1∑mxixiT其中i=1∑mxixiT无变量,考虑i=1∑mxˉixˉiT−2i=1∑mxˉixiTi=1∑mxˉiTxˉi中,标量xˉixˉiT因为xˉi=xiWWT, (xiWWT)∗(xiWWT)T=xiWWTWWTxiT=xiW(WTW)WTxiT=xiW(Im,m)WTxiTi=1∑mxˉixiT中,xˉixiT=xiWWTxiT所以目标函数=−i=1∑nxiWWTxiT
对于矩阵乘法的迹:tr(AB)=∑i∑jAi,jBj,i或tr(ATB)=∑i∑jAi,jBi,j所以,A=B=(XTW),原目标函数=−tr(WTXXTW)对于矩阵乘法的迹:
tr(AB)=\sum_{i}\sum_{j}A_{i,j}B_{j,i}或tr(A^T B)=\sum_{i}\sum_{j}A_{i,j}B_{i,j}\\
所以,A=B=(X^TW),原目标函数=-tr(W^TXX^TW)
对于矩阵乘法的迹:tr(AB)=i∑j∑Ai,jBj,i或tr(ATB)=i∑j∑Ai,jBi,j所以,A=B=(XTW),原目标函数=−tr(WTXXTW)
L(W,λ)=−tr(WTXXTW+λ(WTW−I))∵{tr(XAXT)}′=X(A+AT)∴ L′(W,λ)W=2∗(−XXTW+λ(W−I))=0XXTW=λW,即W为XXT的特征向量组成的矩阵
L(W,\lambda)=-tr(W^TXX^TW+\lambda (W^TW-I))\\
\because \{tr(XAX^T)\}'=X(A+A^T)\\
\therefore \ \ L'(W,\lambda)_W=2*(-XX^TW+\lambda (W-I))=0\\
XX^TW=\lambda W,即W为XX^T的特征向量组成的矩阵
L(W,λ)=−tr(WTXXTW+λ(WTW−I))∵{tr(XAXT)}′=X(A+AT)∴ L′(W,λ)W=2∗(−XXTW+λ(W−I))=0XXTW=λW,即W为XXT的特征向量组成的矩阵
基于最大投影方差:
∑ixi=0,E(yi)=E(xi∗w)=0yi=xiw,即为上述情况m=1(W=w)的情形 \sum_i x_i=0,E(y_i)=E(x_i*w)=0\\y_i=x_iw,即为上述情况m=1(W=w)的情形 i∑xi=0,E(yi)=E(xi∗w)=0yi=xiw,即为上述情况m=1(W=w)的情形