本文深入解析了K近邻法的基本原理，包括距离变量（欧氏、曼哈顿及无穷范数）、K值对预测精度的影响，以及多数表决的分类决策规则。还介绍了如何通过kd树实现K近邻算法。
第三章 K近邻法
3.2 K近邻模型
K近邻方法没有显示的模型形式，它有三个基本要素：距离变量、K值的选择和分类和分类决策规则。
距离变量
这里p>=1.当p=2时，称为欧氏距离；
p=1时，称为曼哈顿距离；
p=∞时，它是各个坐标距离的最大值。
K值的选择
K值的选择会对K近邻法的结果产生重大影响。
K太小，就相当于用较小的领域中的训练实例进行预测，学习的近似误差会减小，只有与输入实例较近的训练实例才会对预测结果起作用，缺点是学习的估计误差会增大，预测结果会对近邻的实例点非常敏感。
K太大，就相当于用较大领域中的训练实例进行预测。优点是可以较少学习的估计误差，但缺点是学习的近似误差会增大。这时与输入实例较远的训练实例也会对预测起作用，使预测发生错误。
在应用中，K一般取一个较小的值。
分类决策规则
K近邻法的分类决策规则往往是多数表决，即由输入实例的K个临近的训练实例中的多数类觉得输入实例的类。
要使误分类最小即经验风险最小，就要使多数表决式子最大，所以多数表决规则等价于经验风险最小化。
K近邻法的实现：kd树
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
