机器学习-统计学习方法第二版学习笔记-第三章 K近邻法

第三章 K近邻法

3.2 K近邻模型

K近邻方法没有显示的模型形式，它有三个基本要素：距离变量、K值的选择和分类和分类决策规则。

距离变量

这里p>=1.当p=2时，称为欧氏距离；

p=1时，称为曼哈顿距离；

p=∞时，它是各个坐标距离的最大值。

K值的选择

K值的选择会对K近邻法的结果产生重大影响。

K太小，就相当于用较小的领域中的训练实例进行预测，学习的近似误差会减小，只有与输入实例较近的训练实例才会对预测结果起作用，缺点是学习的估计误差会增大，预测结果会对近邻的实例点非常敏感。

K太大，就相当于用较大领域中的训练实例进行预测。优点是可以较少学习的估计误差，但缺点是学习的近似误差会增大。这时与输入实例较远的训练实例也会对预测起作用，使预测发生错误。

在应用中，K一般取一个较小的值。

分类决策规则

K近邻法的分类决策规则往往是多数表决，即由输入实例的K个临近的训练实例中的多数类觉得输入实例的类。

要使误分类最小即经验风险最小，就要使多数表决式子最大，所以多数表决规则等价于经验风险最小化。

K近邻法的实现：kd树