机器学习knn算法实现详解

k近邻法

1. 𝑘近邻法是基本且简单的分类与回归方法。𝑘近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的 𝑘个最近邻训练实例点 ，然后利用这𝑘个训练实例点的类的多数来预测输入实例点的类。

2. 𝑘近邻模型对应于基于训练数据集对特征空间的一个划分。𝑘近邻法中，当训练集、距离度量、𝑘值及分类决策规则确定后，其结果唯一确定。

3. 𝑘近邻法三要素：距离度量、𝑘值的选择和分类决策规则。

• 常用的距离度量是欧氏距离及更一般的pL距离。
• 𝑘值小时，𝑘近邻模型更复杂；𝑘值大时，𝑘近邻模型更简单。𝑘值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的𝑘。
• 常用的分类决策规则是 多数表决==经验风险最小化。

4. 𝑘近邻法的实现需要考虑如何快速搜索k个最近邻点。

• kd树 是一种便于对k维空间中的数据进行快速检索的数据结构。kd树是二叉树，表示对𝑘维空间的一个划分，其每个结点对应于𝑘维空间划分中的一个超矩形区域。利用kd树可以省去对大部分数据点的搜索， 从而减少搜索的计算量。

距离度量

设特征空间$x$是$n$维实数向量空间 ，$x_i,x_j\in \mathcal{X}$,$x_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)}^{\mathrm{T}}$,$x_j={\left(x_j^{(1)},x_j^{(2)},\cdots ,x_j^{(n)}\right)}^{\mathrm{T}}$
，则：$x_i$,$x_j$的$L_p$距离定义为:
Lp(xi,xj)=(∑i=1n∣xi(i)−xj(l)∣p)1pL_{p}\left(x_{i}, x_{j}\right)=\left(\sum_{i=1}^{n}\left|x_{i}^{(i)}-x_{j}^{(l)}\right|^{p}\right)^{\frac{1}{p}}Lp​(xi​,xj​)=(∑