【统计学习方法】学习笔记——第三章：K近邻法

$k$近邻法（k-nearest neighbor, k-NN）是一种基本 分类与回归方法。这里只讨论分类问题中的k近邻法。 k近邻法的输入为实例的特征向量，对应于特征空间中点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方法进行预测。因此， k近邻法不具有显示的学习过程。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。 k值的选择、 距离度量以及 分类决策规则是k近邻法的 三个基本要素。

1. k近邻算法

给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实