我们在数学课上学到的是如何如何 求特征值与特征向量。
在线性变换作用下,向量仅仅在尺度上变为原来的倍。称是线性变换的一个特征向量,是对应的特征值。
-
矩阵是一个表示二维空间的数组,矩阵可以看作是一个变换。在线性代数中,矩阵可以把一个向量变换到另一个位置,或者说从一个坐标系变换到另一个坐标系。矩阵的基,实际就是变换时所用的坐标系。
-
矩阵乘法对应了一个变换,是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换过程中,原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量只发生伸缩变换,不对这些向量产生旋转的效果,那么这些向量就称为这个矩阵的特征向量,伸缩的比例就是特征值。
-
任给矩阵A,并不是对所有的向量X它都能拉长(缩短)。凡是能被矩阵A拉长(缩短)的向量就称为矩阵A的特征向量;拉长(缩短)的量就是这个特征向量对应的特征值。
-
一个矩阵可能拉长多个向量,因此它就可能有多个特征值。
-
实对称矩阵,不同特征值对应的特征向量必定正交。
-
一个变换矩阵的所有特征向量组成了这个变换矩阵的一组基。所谓基,可以理解为坐标系的轴。我们平常用到的大多是直角坐标系,在线性代数中可以把这个坐标系,扭曲、拉伸、旋转,成为及变换。我们可以按需求去设定基,但是基的轴之间必须是线性无关的,也就是保证坐标系的不同轴不要指向同一个方向或可以被别的轴组合而成,否则的话原来的空间就“撑”不起来了。在pca中,我们通过在拉伸最大的方向设基,忽略一些小的量,可以极大的压缩数据而减少失真。