1. 奇异值分解
给出一个l*n维的矩阵X ,它的秩为r.存在两个酉矩阵U和V,相应的维数分别为l*l和n*n,所以可以给出:
2. 基于SVD的低阶近似
如果在公式(3)求和时,使用少于r的项(r为X的秩),我们可以近似的得到X

从(6)可以看出只和特征值的大小有关,所以如果我们让特征值按照降序排列,然后给出K项,SVD就能得到最小的误差。从而(4)式可以表示为:
2.SVD实验部分
我们采用Yale人脸数据库,包含15个人的11种光照、表情、姿态变化的图片,一共165张图片。
实验步骤:
(1) 随机选取其中的120张图像组成矩阵