使用SVD来求解优化问题最优值以及求解PCA

最新推荐文章于 2025-07-07 16:27:50 发布

原创最新推荐文章于 2025-07-07 16:27:50 发布 · 2.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#优化

人工智能同时被 2 个专栏收录

51 篇文章

订阅专栏

机器学习

12 篇文章

订阅专栏

博客介绍了使用SVD求解优化问题最优值和PCA的方法。在求解优化问题时，通过对矩阵H进行SVD分解找到最优解；证明了相关引理，说明对H分解可找到使Tr(XH)最大的最优X。还指出PCA本质是求解方差的特征向量，即图中的V。

使用SVD来求解优化问题最优值

假设我们想要求解如下问题：

$R\mathbf{^{*}} =\underset{R}{\operatorname{argmax}}\sum ^{n}_{i=1} q^{T}_{i} Rp_{i} =\sum ^{n}_{i=1} tr\left( Q^{T} RP\right)_{ii} =tr\left( Q^{T} RP\right)$

令 $\displaystyle H\triangleq \sum ^{n}_{i=1} p_{i} q^{T}_{i}$ ，于是问题变成求解如下最优值：

$R\mathbf{^{*}} =\underset{R}{\operatorname{argmax}}\ tr\left( Q^{T} RP\right)=tr\left( RPQ^{T}\right)=tr\left( RH\right)$

现在，如果H的SVD分解为， $\displaystyle H=U\Lambda V^{T}$ ，可以证明

$R\mathbf{^{*}} =VU^{T}$

一定是该优化问题的最优解。

现在证明一个引理：

引理1：对于任意的正定矩阵 $\displaystyle AA^{T}$ ,对于任意的正交矩阵B，则有
$\operatorname{Tr}\left( AA^{T}\right) \geq \operatorname{Tr}\left( BAA^{T}\right)$

证明：令 $\displaystyle a_{i}$ 是A的第i列，于是
$\begin{aligned} \operatorname{Tr}\left( BAA^{t}\right) & =\operatorname{Tr}\left( A^{t} BA\right)\\ & =\sum _{i} a^{t}_{i}( Ba_{i}) \end{aligned}$

根据Cauchy–Schwarz_inequality,

$a^{T}_{i}( Ba_{i}) \leq \sqrt{\left( a^{T}_{i} a_{i}\right)\left( a^{T}_{i} B^{T} Ba_{i}\right)} =a^{T}_{i} a_{i}$

因为B是正交矩阵，所以 $\displaystyle B^{T} B=E$ .因此

$\operatorname{Tr}\left( BAA^{T}\right) \leqslant \sum _{i} a^{T}_{i} a_{i} =\operatorname{Tr}\left( AA^{T}\right)$
证毕。

现设
$X=VU^{T} \ \left( 这是正交矩阵,X^{T} X=UV^{T} VU^{T} =E\right)$
于是
$\begin{aligned} XH & =VU^{T} U\Lambda V^{T}\\ & =V\Lambda V^{T} \end{aligned}$
因此 $\displaystyle XH$ 是一个对称而且正定的矩阵，根据Cholesky分解， $\displaystyle XH$ 一定可以分解成 $\displaystyle AA^{T}$ 的形式，于是根据上述引理，对于任意的正交矩阵B，这样的对称正定矩阵一定满足公式：
$\operatorname{Tr}( XH) \geq \operatorname{Tr}( BXH)$
于是， $\displaystyle \operatorname{Tr}( XH)$ 一定是最优值，因为任意的变换都会使得该它减少。这个东西告诉我们，只要我们能够对H进行SVD分解，那么我们一定能够找到一个最优的X使得 $\displaystyle \operatorname{Tr}( XH)$ 最大。