统计学习方法第二版学习笔记（二）K近邻算法

2 K近邻算法

K近邻算法对于新的实例，根据K个最近邻的训练实例的类别，通过多数表决等方式进行预测。
因此，K近邻算法不具有显示的学习过程。
K值的选择，距离度量及分类决策规则是三个基本要素。

2.1 K近邻算法内容

给定一个数据集，对新的输入实例，在训练集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把输入实例分为这个类。
K=1时是特殊情况，称为最邻近法。

2.2 K值的选择

如果选择较小的K值，就相当于用较小的邻域中的训练实例进行预测，学习的近似误差会减小，只有与输入实例较近的训练实例才会对预测结果起作用。但是学习的估计误差会非常敏感。如果邻近的实例点恰巧是噪声，预测就会错。（过拟合）。
选择较大的K值，那么与输入实例不相似的训练实例也会对预测起作用，使预测发生错误。

2.3 K近邻算法的实现：kd树

kd树是二叉树，表示对K维空间的一个划分。构造kd树相当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域。kd树的每个节点对应于一个k维超矩形区域。
利用kd树可省去对大部分数据点的搜索。