利用矩阵奇异值分解(SVD)进行降维

一、SVD的优缺点及应用场合

• 1.优点：简化数据，去除噪声，提高算法的结果
• 2.缺点：数据的转换可能难以理解
• 3.适用场合：数值型数据

二、SVD算法主要用途

• SVD是矩阵分解的一种类型，而矩阵分解是将数据矩阵分解成多个独立部分的过程。
• 1.隐性语义分析LSA
  • 最早的SVD应用之一是信息检索，称为利用SVD的方法为隐性语义分析。在LSA中，一个矩阵是由文档和词语组成的。当在此矩阵上应用SVD时，就会构建出多个奇异值，这些奇异值表示的是文档中的概念或主题，这一特点可以应用在更高的文档搜索中。
• 2.推荐系统
  • SVD的另一个应用就是推荐系统。利用SVD从数据中构建一个主题空间，然后在该空间下计算其相似度。考虑下图中给出的矩阵，它是由菜品(列)和品菜师对这些菜的意见构成的(列)。品菜师可以采用1到5之间的任意一个整数对菜进行评价；如果品菜师没有尝过该菜，则评分为0。可以利用SVD将原先的5维/7维的矩阵降低到只有2维。
    

三、矩阵分解

• 矩阵分解就是将原始矩阵表示成新的易于处理的形式，这种新式是两个或多个矩阵的乘积。不同的矩阵分解技术具有不同的性质，其中有些更适合于某个应用，有些则更适合于其他的应用，最常见的矩阵分解技术是SVD,SVD将原始的数据集矩阵Data分解成三个矩阵U,Sigma,V.T。如果原始矩阵Data是m行n列，那个U,Sigma,V.T就分别是m*m,m*n,n*n, 如下面的公式所示:
  
• 上面分解中会构建出一个矩阵Sigma，此矩阵只有对角元素，其他元素均为0.Sigma的对角元素一般是从大到小排列的。这些对角元素称为奇异值，它们对应了原始数据集矩阵Data的奇异值，设Data*Data.T矩阵的特征是是lambda,则奇异值就是sqrt(lambda)。
• 在实际工程中，存在一个现象。在某个奇异值的数目®个后，其他的奇异值都置为0。这意味着数据集中仅有r个重要的特征，而其余特征则都是噪声或冗余特征。如何知道仅保留前几个的奇异值？确定要保留的奇异值数量有很多启发式的策略。主要有两种：
  • a.保留矩阵中90%的能量信息，为了计算总能量信息，将所有的奇异值求其平方和，于是可以将奇异值的平方累加到总值的90%为止。
  • b.当矩阵中有很多的奇异值时，那么就保留前面的2000或3000个奇异值，在实际中更容易实现。

四、利用numpy求矩阵的奇异值SVD

   from numpy import *
   from numpy import linalg as la


    def loadDataSet():
       return [[1, 1, 1, 0, 0],
                [2, 2, 2, 0, 0],
               [1, 1, 1, 0, 0],