Kernel PCA

Kernel PCA

　　将样本空间推广到一般情况，借助从样本空间到特征Hilbert空间的特征映射，解决样本空间本身没有内积的情况。设$K:X\times X\rightarrow\mathbb{C}$为核函数，$\mathcal{W}$为特征Hilbert空间，$\Phi:X\rightarrow\mathcal{W}$为特征映射。对给定的核函数$K$，特征对$\left(\mathcal{W},\Phi\right)$不具有唯一性（即PCA一文中对同一核函数的不同坐标表示），故在利用特征空间内积的同时要注意尽量得出只依赖核函数$K$的结论。稍后证明，在核矩阵关于最大谱的特征空间维数为1时，Kernel PCA的表示结果与特征对（样本空间坐标架）选取无关，此称kernel trick。
　　按照PCA的几何解释，我们在特征空间$\mathcal{W}$中寻求样本点的特征$\left\{\Phi\left(x_i\right)\right\}_{i=1}^N\subset\mathcal{W}$的一维流形拟合。得模型

$$\mathop{\rm argmax}_{\substack{u\in\mathcal{W}\\\|u\|=1}}\sum_{i=1}^n\left|\left\langle\tilde{\Phi}\left(x_i\right),u\right\rangle_\mathcal{W}\right|^2,$$

其中$\tilde{\Phi}\left(x_i\right)=\Phi\left(x_i\right)-\frac{1}{n}\sum_{j=1}^n\Phi\left(x_j\right)$。记有界线性算子

$$T:\mathcal{W}\rightarrow\mathbb{C}^n:u\mapsto\left(\left\langle\tilde{\Phi}\left(x_i\right),u\right\rangle_\mathcal{W}\right)_{i=1}^n,$$

则问题转为

$$\mathop{\rm argmax}_{\substack{u\in\mathcal{W}\\\|u\|=1}}\left\langle T^\ast Tu,u\right\rangle_\mathcal{W}.$$

谱分解与谱分解表示

　　此时

$$T^\ast:\mathbb{C}^n\rightarrow\mathcal{W}:\left(v_i\right)_{i=1}^n\mapsto\sum_{i=1}^n\overline{v_i}\tilde{\Phi}\left(x_i\right),$$

$$T^\ast T:\mathcal{W}\rightarrow\mathcal{W}:u\mapsto\sum_{i=1}^n\left\langle u,\tilde{\Phi}\left(x_i\right)\right\rangle_\mathcal{W}\tilde{\Phi}\left(x_i\right).$$

　　显然自伴随算子$T^\ast T\in\mathcal{B}_{00}\left(\mathcal{W}\right)\subset\mathcal{B}_0\left(\mathcal{W}\right)$，从而其有谱分解

$$T^\ast Tu=\sum_{i=1}^p\lambda_i\left\langle u,u_i\right\rangle_\mathcal{W}u_i,$$

其中$p\leq n$，$\left\{\lambda_i\right\}_{i=1}^p\subset\mathbb{R}_{++}$为单调下降的正特征值，$\left\{u_i\right\}_{i=1}^p\subset\mathcal{W}$为对应单位正交特征向量。
　　将谱分解代回模型立得解$u_\ast=u_1$，即${\rm span}\left\{u_1\right\}$为$\mathcal{W}$上最佳拟合中心化后样本特征$\left\{\tilde\Phi\left(x_i\right)\right\}_{i=1}^n$的一维子空间，亦即$\frac{1}{n}\sum_{i=1}^n\Phi\left(x_i\right)+{\rm span}\left\{u_1\right\}$为$\mathcal{W}$上最佳拟合样本特征$\left\{\Phi\left(x_i\right)\right\}_{i=1}^n$的一维流形。
　　此时任意$x\in X$在特征空间$\mathcal{W}$中该一维流形上的表示为

$$\begin{align*} \left\langle\tilde\Phi\left(x\right),u_\ast\right\rangle_\mathcal{W}={}&\sum_{i=1}^n\left\langle u_\ast,\tilde{\Phi}\left(x_i\right)\right\rangle_\mathcal{W}\left\langle\tilde{\Phi}\left(x_i\right),\tilde\Phi\left(x\right)\right\rangle_\mathcal{W}\\ ={}&\sum_{i=1}^n\left\langle u_\ast,\tilde{\Phi}\left(x_i\right)\right\rangle_\mathcal{W}\tilde K\left(x_i,x\right), \end{align*}$$

其中第二部分

$$\begin{align*} \tilde K\left(x_i,x\right)=K\left(x_i,x\right)&-\frac{1}{n}\sum_{j=1}^nK\left(x_i,x_j\right)\\ &-\frac{1}{n}\sum_{j=1}^nK\left(x_j,x\right)\\ &+\frac{1}{n^2}\sum_{j,k=1}^nK\left(x_j,x_k\right). \end{align*}$$

谱分解对应之SVD分解

　　上式第一部分似乎与特征对选择有关，然此时由谱分解，有

$$\sum_{i=1}^n\left\langle u_j,\tilde\Phi\left(x_i\right)\right\rangle_\mathcal{W}\left\langle\tilde{\Phi}\left(x_i\right),u_k\right\rangle_\mathcal{W}=\lambda_j\delta_{jk}.$$

记

$$\begin{align*} K\left[\mathcal{X}\right]&:=\left[K\left(x_i,x_j\right)\right]_{i,j=1}^n\\ W&:=\left[\left\langle\tilde\Phi\left(x_i\right),u_j\right\rangle\right]_{\substack{i\in\mathbb{N}_n\\j\in\mathbb{N}_p}}\\ \Lambda&:={\rm diag}\left(\lambda_i\right)_{i=1}^p\\ \end{align*}$$

则有

$$\begin{align*} K\left[\mathcal{X}\right]&=WW^\ast\\ \Lambda&=W^\ast W. \end{align*}$$

　　记$U:=W\Lambda^{-\frac{1}{2}}$， 则有

$$\begin{align*} K\left[\mathcal{X}\right]&=U\Lambda U^\ast\\ I_p&=U^\ast U, \end{align*}$$

此即谱分解所对应核矩阵的SVD分解。能看出$U$矩阵每一列为对应样本特征在该主方向上的分解系数。反之，核矩阵的任意SVD分解均能导出对应之谱分解。

SVD分解下之表示

　　设核矩阵的SVD分解为

$$\begin{align*} K\left[\mathcal{X}\right]&=U\Lambda U^\ast\\ I_p&=U^\ast U, \end{align*}$$

此时任意$x\in X$在特征空间$\mathcal{W}$中该一维流形上的表示为

$$x_{\rm label}=\sum_{i=1}^n\left\langle u_\ast,\tilde{\Phi}\left(x_i\right)\right\rangle_\mathcal{W}\tilde K\left(x_i,x\right)=\frac{1}{\lambda_1}\sum_{i=1}^n\overline{\left[U\right]_{i1}}\tilde K\left(x_i,x\right),$$

与特征对选取无关。