KNN-KD树

KNN-KD树学习笔记

之前已经介绍过KNN的算法了，回顾一下KNN的算法核心思想：KNN算法是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分类到这个类中。

实现kNN算法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索，这点在特征空间的维数大以及训练数据容量大时尤其重要。简单的KNN算法需要遍历整个训练数据集来求解距离，这样的做法在训练数据集特别大的时候并不高效，需要很大的计算量。

KNN算法的改进方法之一是分组快速搜索近邻法。其基本思想是：将样本集按近邻关系分解成组，给出每组质心的位置，以质心作为代表点，和未知样本计算距离，选出距离最近的一个或若干个组，再在组的范围内应用一般的KNN算法。由于并不是将未知样本与所有样本计算距离，故该改进算法可以减少计算量，但并不能减少存储量。下面介绍一种名为KD树的数据结构，将其应用到KNN算法中来减小算法的计算量。

KD树结构

KD树(K-dimension tree)是一个二叉树结构，表示一个对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。它的每一个节点记载了特征坐标，切分轴，指向左枝的指针，指向右枝的指针。

构造kd树相当于不断地用垂直于坐标轴的超平面将k维空间进行切分，构成一系列的k维超矩形区域。kd树的每一个节点对应于一个k维超矩形区域。KD树是一个二叉树，每个节点表示一个空间范围。

KD树节点的数据结构

# 构造KD树节点的数据结构
class KdNode(object):
    def __init__(self, dom_elt, label, split, left, right):
        self.dom_elt = dom_elt  # k维向量节点(k维空间中的一个样本点)
        self.label = label      # 上述样本点dom_elt的标记
        self.split = split      # 整数（进行分割维度的序号）
        self.left = left        # 该结点分割超平面左子空间构成的kd-tree
        self.right = right      # 该结点分割超平面右子空间构成的kd-tree

构建KD树过程如下：