weixin_45154208的博客

原创 【KNN(K Nearest Neighbor)K近邻】

1 概念 为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则（majority-voting），将未知样本与K个最邻近样本中所属类别占比较多的归为一类。 2 距离度量 明可夫斯基距离： 欧几里得距离： 曼哈顿距离： 切比雪夫距离： 马氏距离： 3 k值选择 选择较小的k值，就相当于用较小的邻域中的训练实例进行预测，学习的近似误差（可以理解为对现有训练集的训练误差，近似误