KL最优变换手推

KL最优变换推导

本文主要参考wiki。

the Karhunen–Loève transform (KLT)，也叫the Karhunen–Loève expansion or Karhunen–Loève decomposition。

先进行无公式讲解（全是冗余）

---

KL变换也叫霍特林变换（Hotelling transform） ，特征向量变换（eigenvector transform）。它最初来源于随机过程领域，用于把一个随机过程表示成无穷多个正交函数的线性组合，即以无穷级数的形式表示随机过程，类似于用傅里叶级数表示一个有界区间上的函数。但区别是，傅里叶级数展开的系数是固定的（fixed）且基函数都是正弦型函数（即 either sin or cos），KL展开的系数是随机变量且基函数依赖于过程本身，要通过过程本身来计算使用的基函数。

KLT是建立在统计特性基础上的变换，它是均方差(MSE, Mean Square Error)意义下的最佳变换，因此在压缩技术中占有重要地位。压缩就是把数据的分布尽量变得随机和不相关，以便用最少的空间去存储但又能正确表示，完全随机的数据比如白噪声就无法再压缩了。

PCA，主成分分析，在图像处理等信号处理领域用的很多，实际上就是离散KL变换，虽然PCA的变换矩阵是协方差阵C而KLT是相关矩阵R，但KLT变换前的数据是中心化了的（均值为0），C和R完全一样，所以PCA就是离散KL变换，一点区别都没有！
而连续形式的KL变换和其他连续形式的各种变换（傅里叶变换，余弦变换···）一样，理论意义更强。

致命弱点：input-dependent

然而，K-L变换虽是均方差意义下的最佳变换，但必须事先知道输入的讯号，并且需经过一些繁杂的数学运算，例如协方差(covariance)以及特征向量(eigenvector)的计算，因此在工程实践上K-L转换并没有被广泛的应用，只是理论上最佳的方法，但在寻找一些不是最佳、但比较好实现的变换时，K-L变换能提供变换性能的评价标准。
以处理图片为例，在K-L转换后，图片的能量会变得集中，确实压缩了图片，但KL变换是input-dependent，即需要对每张输入图片存一个变换机制，每张图的变换基都不一样，应用上是不实际的，信息发送发没问题，每张图都能规规矩矩地KL变换压缩，很省空间地传出去，到了收方，收方就一脸蒙蔽了，，，没有一个统一的解码机制（逆变换），每张图的逆变换基都不一样，一张图都解码不出来，恢复不出来，要恢复出来只能传图的同时把变换基也传过去，收方根据每张图片的变换基进行逆变换，可是这样需要的计算量，通信量都更大，还不如用个压缩均方差大一点的但不input-dependent的能有统一编解码机制的变换呢。

下面从最小化均方差的思路出发，手推出KLT（压缩后的干货）

---

信源，n维向量：$X=[x_0,x_1,\dots ,x_{n-1}{]}^T,E(X)=0$,令$K_{XX}=E[X{X}^T]$为信源X的协方差矩阵，也是自相关矩阵（均值为0）。

n*n的正交变换矩阵$A^T=[{\phi }_0,{\phi }_1,\dots ,{\phi }_{n-1}]$, ${\phi }_i^T{\phi }_j=\{\begin{array}{rl}& 1，i=j\\ & 0，i̸=j\end{array}$

变换得到的n维向量$Y=AX=[y_0,y_1,\dots ,y_{n-1}{]}^T,y_i={\phi }_i^{T}X.$

逆变换： $X=A^{-1}Y=A^{T}Y=[{\phi }_0,{\phi }_1,\dots ,{\phi }_{n-1}][y_0,y_1,\dots ,y_{n-1}{]}^T={\sum }_{i=0}^{n-1}{y}_i{\phi }_i$

$y_i$是展开系数，${\phi }_i$是正交基函数，用这n个基函数的线性组合可以表示这个信源X。

但是，为了压缩信源数据，我们不用所有基函数，只用其中m个基函数的线性组合去近似X：(m<n)

X ^ = ∑ i = 0 m − 1 y i φ i \hat{X}=\sum_{i=0}^{m-1}y_i\varphi_i