第三章 统计学习方法-K-近临法

 

k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。k近邻法假设给定一个训练数据集，其中的实例类别己定。分类时，对新的实例，根据其k个最近邻的训练实例的类别通过多数表决等方式进行预测。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。

3.2   k近邻模型

k近邻法三个基本要素：距离度量、k值的选择和分类决策规则

 

距离度量:  常用欧氏距离，其他距离

Lp距离(与distance)     

 

当p=2时，称为欧氏距离(Euclidean distance)

当p=1时，称为曼哈顿距离(Manhattan distance )

Minkowski距离

k值的选择

如果选择较小的k值，“学习”的近似误差( approximation ertor)会减小，只有与输入实例较近的(相似的)训练实例才会对预测结果起作用。但缺点是“学习”的估计误差(estimarion ertor) 会增大，预测结果会对近邻的实例点非常敏感。如果邻近的实例点恰巧是噪声，预测就会出错.换句话说，k值的减小就意味着整体模型变得复杂，容易发生过拟合。

如果选择较大的k值，正好相反， k值的增大就意味着整体的模型变得简单.如果k=N，那么无论输入实例是什么，都将简单地预测它属于在训练实例 中最多的类。这时，模型过于简单，完全忽略训练实例中的大量有用信息，是不可取的.在应用中，k值一般取一个比较小的数值.通常采用交叉验证法来选取最优 的k值.

分类决策规则

常用：多数表决规则(majority voting rule)：0-1

损失函数下经验风险最小化.

                                                 

 

3.3 k近邻法的实现:kd树

kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。kd树是二叉树，表示对k维空间的一个划分(partition)。构造kd树相当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域。kd树的每个结点对应于一个k维超矩形区域.

构造kd树:

•  

搜索kd树：