kd-tree的python实现

本文主要内容

[ kD-tree的C语言实现 ]是多年前写过的一篇kd-tree的博客。当时正在看李航老师的《统计学习方法》一书，看到kNN算法和kd-tree之间的关系，非常有兴趣进行深入了解，所以汇总了一些资料，后面由于实际工作中用不到，就放下了。最近重新翻了翻李老师的这本书，发现现在的理解比以前深了很多，而且这种经典是常看常新的，每多翻一次，就多一分收获。

本文主要内容：
- kNN算法与kd-tree的关系
- kd-tree的构建
- kd-tree的近邻查找

---

kNN算法与kd-tree的关系

K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。
kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
但是KNN算法使用的是线性扫描，计算复杂度和空间复杂度都很高。
事实上，实际数据集中的点一般时呈簇状分布的，所以，很多点我们是完全没有必要遍历的，索引树的方法就是对将要搜索的点进行空间划分，空间划分可能会有重叠，也可能没有重叠，kd-tree就是划分空间没有重叠的索引树
kd-tree是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。

构造kd-tree

kd-tree每个节点中主要包含的数据结构如下

域名	类型	描述
dom_elt	kd维的向量	kd维空间中的一个样本点
split	整数	分裂维的序号，也是垂直于分割超面的方向轴序号
left	kd-tree	由位于该结点分割超面左子空间内所有数据点构成的kd-tree