K近邻法是机器学习中一种很基本的算法,可以用做分类和回归,主要的思想跟我们生活中近墨者黑,近朱者赤的思想雷同。例如我们看一个人人品的好坏只需要看与之相交的人的品格好坏。KNN算法分类和回归主要区别在于最后做预测时候的决策方式不同:分类时我们选取与之相近的K个样本采取多数表决法来判断类别,回归时我们选取K个样本的平均值来作为预测值。
1.KNN算法的三个要素
- K值 对于K值的选取可根据我们的经验,然而有时候并不是那么的好,我们需要通过交叉验证来不断地调节K值,直到选择到满意的值。K选择较小的值,就会使用训练实例中较小领域的训练实例进行预测,训练的误差会减小,那也就意味这只有与之相近的样本才对预测结果影响,这样会使模型变得复杂,容易发生过拟合。K选择较小的值,就会使用训练实例中较大的训练实例进行预测,这样会使模型变得简单,模型的泛化能力增强,但同时也意味着与之相距较远的实例会对其预测结果产生影响,会使训练误差增大。
- 距离度量 我们有很多种距离度量的方式,可推荐参考 距离度量 。standard Euclidean distance(标准欧式距离)是最常见的选择。
- 决策规则 分类我们一般使用的是对数表决法,回归采用K个样本标签均值
2. KNN的实现
- 暴力实现
- 最简单的近邻搜索的实现涉及数据集中所有成对点之间距离的暴力计算: 对于
维度中的
个样本来说, 这个方法的复杂度是
。 对于小数据样本,高效的暴力近邻搜索是非常有竞争力的。 然而,随着样本数
的增长,暴力方法很快变得不切实际了。
-
K-D树
-
为了解决效率低下的暴力计算方法,已经发明了大量的基于树的数据结构。总的来说, 这些结构试图通过有效地编码样本的 aggregate distance (聚合距离) 信息来减少所需的距离计算量。 基本思想是,若