k近邻算法的实现:kd树

1. 问题简介

 以下引用自维基百科

在模式识别领域中，最近邻居法（KNN算法，又译K-近邻算法）是一种用于分类和回归的非参数统计方法。在这两种情况下，输入包含特征空间中的k个最接近的训练样本。

• 在k-NN分类中，输出是一个分类族群。一个对象的分类是由其邻居的“多数表决”确定的，k个最近邻居（k为正整数，通常较小）中最常见的分类决定了赋予该对象的类别。若k = 1，则该对象的类别直接由最近的一个节点赋予。
• 在k-NN回归中，输出是该对象的属性值。该值是其k个最近邻居的值的平均值。

最近邻居法采用向量空间模型来分类，概念为相同类别的案例，彼此的相似度高，而可以借由计算与已知类别案例之相似度，来评估未知类别案例可能的分类。

 具体参考维基百科
 实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这点在特征空间的维数大及训练数据容量大时尤其必要。
 k近邻法最简单的实现方式是线性扫描(linear scan)。赭石需要计算机输入实力与每一个训练实例的距离。当训练集很大时，计算非常耗时，这种方法是不可行的。
 为了提高k近邻搜索的效率，可以考虑使用特殊的结构储存训练数据，以减少计算距离的次数。具体方法很多，下面介绍其中的kd树(kd tree)方法。

2.kd树

 k-d树是每个节点都为k维点的二叉树。所有非叶子节点可以视作用一个超平面把空间分区成两个半空间( Half-space )。节点左边的子树代表在超平面左边的点，节点右边的子树代表在超平面右边的点。选择超平面的方法如下：每个节点都与k维中垂直于超平面的那一维有关。因此，如果选择按照x轴划分，所有x值小于指定值的节点都会出现在左子树，所有x值大于指定值的节点都会出现在右子树。这样，超平面可以用该x值来确定，其法线为x轴的单位向量。

2.1.构造kd树

 有很多种方法可以选择轴垂直分区面（ axis-aligned splitting planes ），所以有很多种创建k-d树的方法。 最典型的方法如下：

• 随着树的深度轮流选择轴当作分区面。（例如：在三维空间中根节点是 x 轴垂直分区面，其子节点皆为 y 轴垂直分区面，其孙节点皆为 z
  轴垂直分区面，其曾孙节点则皆为 x 轴垂直分区面，依此类推。）
• 点由垂直分区面之轴座标的中位数区分并放入子树

 这个方法产生一个平衡的k-d树。每个叶节点的高度都十分接近。然而，平衡的树不一定对每个应用都是最佳的。
 以下是python的实现：

class Tree_node(object):
    '''kd tree node
    classdocs
    '''
    def __init__(self, points, area, dimCount = 0, dim = 0, parent = None, lchild = None, rchild = None):
        '''
        Constructor
        '''
        self.points = deepcopy(points)
        if len(points) > 0:
            self.dimCount = len(points[0])
        self.dim = dim
        self.parent = parent
        self.lchild = lchild