关于向量、矩阵和投影

以前由于对矩阵了解的不够，导致在学习PCA方法求解特征值和特征向量时遇到了麻烦，无法理解它的物理意义，后来通过重新学习书籍和孟岩的博文《理解矩阵》等，才对矩阵、向量的工程应用有了一点点理解。现记录一下：

    图像的运算过程中常常要将其转换成一个向量，可以理解一个图像是一个n维的向量，两个图像进行特征比对时就需要将n个数据进行比较，由于各数据在比对时作用不一样所以，如果统统进行运算无疑会做了一些无用功。如两个人进行比较，选择的比较参数为：身高、体重、年龄、学历。如果两个人年龄相同，则对年龄比较的运算就没有任何意义，所以要从中提取关键特征。而对于PCA降维就是起到这个作用，从n个特征中抽取能够充分体现样本区别的特征p个。

    两个向量的点积，等于一个向量在另一个向量上的投影长度，等于两个向量对应坐标分量之积的代数和。这件事情太奇妙了，即使很容易可以证明，我还是觉得很奇妙，怎么会有这样妙的性质呢？

    一个向量对应一条有向线段，一组向量对应一组有向线段。一个非奇异矩阵呢，是否可以说对应一个n维空间的一组向量，而这组向量构成一个坐标系。一个向量乘一个矩阵，就是求这个向量在那个矩阵所代表的新的坐标系各个轴线上的投影组成的新的向量。也可以说，矩阵是一个向量变换器。对于一个非奇异矩阵来说，有些向量特别有意思，它们在这个坐标系里的投影组成的新的向量，正好是原来向量的lamda倍。也就是说，经过矩阵这个向量变换器的变换，原来的向量跟乘了个实数lamda没啥分别。所以这个lamda就刻画了这个矩阵的某种特征，叫做矩阵的特征值。

    矩阵乘矩阵，就是一组向量在另一组向量张成的坐标系里的投影值。正交矩阵，就是这样的一个矩阵，它自己在自己身上投影，投影出来的结果是一个单位矩阵I。什么时候才会出现这种情况呢？当然只有这个矩阵所代表的向量组里，所有向量两两垂直，才会出现在这种情况。所以叫“正交矩阵”，名字不是随便起的。