【机器学习】k近邻（k-nearest neighbor ）算法

0. 前言

k近邻（k-nearest neighbors，KNN）算法是一种基本的监督学习算法，用于分类和回归问题。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。

1. 算法原理

给定一个训练数据集，KNN算法通过计算待分类样本与训练数据集中各个样本的距离，选取距离最近的k个样本，然后根据这k个样本的类别进行投票（分类问题）或者求平均值（回归问题），以确定待分类样本的类别或者值。

注：分类问题中常使用多数表决作为决策规则，回归问题中常使用平均或加权平均作为决策规则

1.1 距离度量

距离度量在机器学习和数据挖掘领域中是一项基础且至关重要的工作。它用于衡量数据集中样本之间的相似性或差异性。在KNN算法中，距离度量被用来衡量待分类样本与训练数据集中各个样本之间的距离，以便确定最近的邻居。KNN算法常用的距离度量方法包括欧氏距离和曼哈顿距离。

• 欧氏距离（Euclidean Distance）
  欧氏距离是最常见的距离度量方法之一，也是我们通常所理解的“直线距离”。对于两个样本向量$\mathbf{p}=(p_1,p_2,...,p_n)$和 q = ( q