周志华 《机器学习》之 第十章（降维与度量学习）概念总结

降维在一起图像识别过程也经常被采用的一种分类算法，例如二维数据经过投影变为一维数据，从而更好的表征数据的特征，再进行识别。在前面章节中提到过LDA（线性判别分析）也可以当做一种简单降维处理。在周老师的这章中主要讲述PCA主成分分析算法对高维数据进行降维。降维是一种解决维数灾难的重要途径。书中从如下几节进行介绍：

1、K邻近学习

$k$近邻学习是一种监督学习算法，在给定的训练样本集中，基于某种距离度量，找出与训练集最靠近的$k$个训练样本，然后基于这$k$个邻居信息来进行预测。
投票法：通常在分类任务中使用，判别方法是选择这$k$个样本中出现最多的雷冰标记作为预测结果。
平均法：通常在回归任务中使用，判别方法是将这 k <script type="math/tex" id="MathJax-Element-443">k</script>个样本的实值输出标记的平均值最为预测结果。
加权平均或加权投票：根据距离远近来决定权重，距离越近，权重越大。

2、低维嵌入

维数灾难：
缓解维数灾难方法：降维（维数约简），也就是通过某种数学变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间中样本密度大幅提高，距离计算也变得更为容易。
在很多时候，人们观测或收集到的数据样本虽然是高维的，但与学习任务密切相关的也许仅是某个低维分布，即高维空间中的一个低维嵌入。
线性降维方法：基于线性变换来进行降维的方法。

3、主成分分析（PCA）

参阅：http://blog.youkuaiyun.com/hellotruth/article/details/30750823

4、核化线性降维

在很多问题上，可能需要非线性映射才能找到恰当的低维嵌入。那么非线性降维常用的一种方法，就是基于核技巧对线性降维方法进行“核化”。例如核主成分分析（KPCA）

5、流形学习

流行学习是一类借鉴了拓扑流形概念的降维方法。常用的流行学习方法有等度量映射和局部线性嵌入。

6、度量学习

在机器学习中，对高维数据进行降维的主要目的是希望找到一个合适的低维空间，在此空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量。因此我们可以尝试直接学习出一个合适的距离度量。也就是度量学习。
马氏距离：