特征分解、奇异值分解、PCA（个人理解）

1 矩阵分解是提取该矩阵内部一些特征的过程。
2 在自然语言处理中，特征分解出一个任务矩阵的特征值和特征向量，其中某一特征向量是该任务的某一特征，相对应的特征值变为此特征的重要性程度或者其他数字化指标。奇异值分解、PCA都是提取任务对应特征的一个方法，而现在使用神经网络来提取特征，其实道理都差不多只不过换了一种方式。

特征分解
性质：1 只有可对角化矩阵才可以特征分解。
2 一个特征值可以对应一个或者一个以上的特征向量。
若A是一个自然语言处理任务中针对某一任务抽取出的一些features的矩阵表示，则经过矩阵分解便可得到A中蕴含的更深层次的特征。若对该任务中的新的数据集（x1,x2,x3,…,xn）通过A来得到该数据集的属性（数学上表示为空间属性），则特征向量便蕴含了该空间属性的某个维度，特征值蕴含了该维度所占的比例，通过特征值可以抽取出主要的和次要的变换。
图的来源：http://blog.youkuaiyun.com/jinshengtao/article/details/18448355

奇异值分解（来自深度学习花书）
1 奇异值分解是将矩阵分解为奇异向量和奇异值。通过奇异值分解，我们会得到一些与特征分解相同类型的信息。
2 奇异值分解有更广泛的应用，每个实数矩阵都有一个奇异值分解，但不一定都有特征分解，例如，非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。
3 公式：