拉格朗日乘子法：压缩向量信息至标准正交基-优快云博客

本文链接：https://blog.youkuaiyun.com/ResumeProject/article/details/119203223

本文讲解了如何使用拉格朗日乘子法解决优化问题，通过标准正交列向量w将n维信息压缩到m维，最小化信息偏差。关键步骤包括构造目标函数、利用矩阵运算简化并找到最优W矩阵。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

$设行向量x1,x2,……,xn∈Rn。设行向量x_1,x_2,……,x_n\in R^n。$
$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ \left\{\begin{array}{l}minimize\ \sum_{i=1}^N ||x_i-\sum_{k=1}^m<x_i,w_k>w_k||^2\\ subject \ to <w_k,w_l>=\delta_{i,j}\end{array}\right. \\ 其中m<n,<·,·>为标准内积。$
$w_i\in R^n是标准正交的列向量，m<n,希望只保留w_i方向上的信息，即把n维信息压缩成m维，且信息偏差尽可能小。$

$解：记xˉ=∑k=1m<xi,wk>wk,Wn,m=[w1,w2,……，wn],则xˉi=xiWWT解：记\bar x=\sum_{k=1}^m<x_i,w_k>w_k,W_{n,m}=[w_1,w_2,……，w_n] ,则\bar x_i=x_iWW^T$
$目标函数\sum_{i=1}^N ||\bar x_i-x_i||^2=\sum_{i=1}^{m}\bar x_i\bar x_i^T-2\sum_{i=1}^m\bar x_ix_i^T+\sum_{i=1}^mx_ix_i^T\\ 其中\sum_{i=1}^mx_ix_i^T无变量，考虑\sum_{i=1}^{m}\bar x_i\bar x_i^T-2\sum_{i=1}^m\bar x_ix_i^T\\ \sum_{i=1}^{m}\bar x_i^T\bar x_i中，标量\bar x_i\bar x_i^T 因为\bar x_i=x_iWW^T,\ \ \ \ \\ (x_iWW^T)*(x_iWW^T)^T=x_iWW^TWW^Tx_i^T=x_iW(W^TW)W^Tx_i^T=x_iW(I_{m,m})W^Tx_i^T\\ \sum_{i=1}^m\bar x_ix_i^T中，\bar x_ix_i^T=x_iWW^Tx_i^T \\ 所以目标函数= -\sum_{i=1}^n x_iWW^Tx_i^T$
$tr(AB)=\sum_{i}\sum_{j}A_{i,j}B_{j,i}或tr(A^T B)=\sum_{i}\sum_{j}A_{i,j}B_{i,j}\\ 所以，A=B=(X^TW),原目标函数=-tr(W^TXX^TW)$
$L(W，\lambda)=-tr(W^TXX^TW+\lambda (W^TW-I))\\ \because \{tr(XAX^T)\}'=X(A+A^T)\\ \therefore \ \ L'(W，\lambda)_W=2*(-XX^TW+\lambda (W-I))=0\\ XX^TW=\lambda W,即W为XX^T的特征向量组成的矩阵$