从高维数据中获取低维结构——背景总…

1.     视觉数据中的低维结构：

局部规律，整体的对称性，重复的图样，冗余的抽样……

2.    PCA

A为m×n矩阵，A = [a1 |…| an]∈R(m×n)

r(A)<<m  （低维结构）

l  PCA通过奇异值分解(SVD)，基础统计工具

l  在高斯噪声下D = A+Z得到A的最优估计

l  计算的有效性和可伸缩性

问题：在数据毁坏的情况下表现差

3.    低维模型

1） 稀疏恢复

y = Lx + e, L为线性算子（m×n实矩阵，m<<n）

x为结构——稀疏——0-范数小——NP-hard，错误e不太密

通过凸优化转化为可解决的问题：

2） 低秩恢复——低秩+稀疏噪声

 Y = X + E

不可解，其凸松弛：

 

3） 矩阵填充——低秩，丢失某些数据

，恢复X。

 

参考资料：http://perception.csl.illinois.edu/matrix-rank/references.html