PCA算法的最小平方误差解释

最新推荐文章于 2023-12-23 00:00:00 发布

weixin_34015860

最新推荐文章于 2023-12-23 00:00:00 发布

阅读量201

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能

原文链接：http://www.cnblogs.com/wacc/p/3428110.html

本文介绍了PCA算法的一种新的理解方式，即将数据投影到低维空间并最小化投影误差的平方和。通过数学推导，文章详细阐述了如何找到最优的投影矩阵，并指出该矩阵由数据协方差矩阵的前k个特征向量组成。

PCA算法另外一种理解角度是：最小化点到投影后点的距离平方和.

假设我们有m个样本点，且都位于n维空间 $x\in \mathbb{R}^n$ 中，而我们要把原n维空间中的样本点投影到k维子空间W中去（k<n），并使得这m个点到投影点的距离(即投影误差)的平方和最小.我们假设投影到的k维子空间的标准正交基（orthonormal basis）为 $u_1,u_2,\cdots,u_k$ ，这组标准正交基组成了一个 $n\times k$ 的矩阵U：

$U=\begin{bmatrix} u_1\Bigg| u_2\Bigg|\cdots\Bigg| u_k \end{bmatrix}$

则 $P=UU^T$ 称为子空间W 的投影矩阵（projection matrix）。

如果我们不从标准正交基出发，如何求得W的投影矩阵？设 $a_1,a_2,...,a_k$ 是W 的任意一组基，形成一个 $n\times k$ 的矩阵 $A=\begin{bmatrix} a_1\Bigg| a_2\Bigg|\cdots\Bigg| a_k \end{bmatrix}$ 则W的投影矩阵是 $A(A^TA)^{-1}A^T$

投影矩阵具有如下性质：

$\begin{aligned} &P^n=P(n=1,2,\cdots),\quad P^T=P \\ &(I-P)^n=I-P(n=1,2,\cdots),\quad (I-P)^T=I-P \end{aligned}$

记每一个点 $x^{(i)}$ 对应的投影误差为 $e^{(i)}$ ，且投影误差的表达式为 $e^{(i)}=(I-P)x^{(i)}$ ，那么我们要最小化的表达式为：

$E'=\sum_{i=1}^{m}e^{(i)T}e^{(i)}$

为了后面的推导方便，我将上式除以 $\frac{1}{m}$ 即样本个数），由于其是定值，所以不影响我们问题的求解

$\begin{aligned} E&=\frac{1}{m}\sum_{i=1}^{m}e^{(i)T}e^{(i)}\\ &=\frac{1}{m}\sum_{i=1}^{m}[(I-P)x^{(i)}]^T (I-P)x^{(i)}\\ &=\frac{1}{m}\sum_{i=1}^{m}x^{(i)T}(I-P)^T (I-P)x^{(i)}\\ &=\frac{1}{m}\sum_{i=1}^{m}x^{(i)T}(I-P)^2 x^{(i)}\\ &=\frac{1}{m}\sum_{i=1}^{m}x^{(i)T}(I-P)x^{(i)}\\ &=\frac{1}{m}\sum_{i=1}^{m}x^{(i)T}x^{(i)}-\frac{1}{m}\sum_{i=1}^{m} x^{(i)T}Px^{(i)}\\ \end{aligned}$

由于 $x^{(i)},i=1,2,...,m$ 是预先给定的样本点，故上式中第一项是定值，因此我们的问题转化为了求第二项的最大值，即

$\max_P \frac{1}{m}\sum_{i=1}^{m}x^{(i)T}Px^{(i)}$

由于 $P=UU^T$ （其中U是以子空间W的标准正交基为列构成的矩阵），上面的问题等价于 $\max_U \frac{1}{m}\sum_{i=1}^{m}x^{(i)T}UU^Tx^{(i)}$

对其进一步化简得：

$\begin{aligned} \frac{1}{m}\sum_{i=1}^{m}x^{(i)T}UU^Tx^{(i)} &= \frac{1}{m}\sum_{i=1}^{m}(U^Tx^{(i)})^T(U^Tx^{(i)})\\ &=\frac{1}{m}\sum_{i=1}^{m}(u_1^Tx^{(i)},u_2^Tx^{(i)}, ...,u_k^Tx^{(i)})\cdot(u_1^Tx^{(i)},u_2^Tx^{(i)}, ...,u_k^Tx^{(i)})^T\\ &=\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^k (u_j^Tx^{(i)})^2\\ &=\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^k u_j^Tx^{(i)}x^{(i)T}u_j\\ &=\sum_{j=1}^k u_j^T(\frac{1}{m}\sum_{i=1}^{m}x^{(i)}x^{(i)T}) u_j\\ &=\sum_{j=1}^k u_j^T\Sigma u_j \end{aligned}$ 因此， $\min E$ 等价于

$\begin{aligned} &\max_{u_1,u_2,\cdots,u_k}\sum_{j=1}^{k}u_j^T\Sigma u_j\\ &s.t.\quad u_j^Tu_j=1(j=1,2,\cdots,k) \end{aligned}$

求解上面的 $u_j$ 要用到最大方差解释中使用的Lagrangian Multiplier，在此不再赘述，而最后求得的 $u_1,u_2,\cdots,u_k$ 就是协方差矩阵 $\Sigma$ 的前k个特征向量

转载于:https://www.cnblogs.com/wacc/p/3428110.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。