KD-Tree的原理及其在KNN中的应用（附Python代码

(

l

o

g

N

)

O(logN)

O(logN)。

三、KD-Tree

3.1 对KD-Tree的理解

对于多维数据，可以使用二叉树在 K 维（在激光雷达中，一般使用三维点云，所以KD-Tree的维度K=3）空间上的扩展 KD-Tree，它的时间复杂度也能近似达到

O

(

l

o

g

N

)

O(logN)

O(logN)，实际上它的时间复杂度介于

O

(

l

o

g

N

)

O(logN)

O(logN)和

O

(

N

)

O(N)

O(N)之间。**KD-Tree本质上是一种特殊的数据结构——基于空间的平衡二叉树。**KD-Tree是每个节点都有k维数据的平衡二叉树，每个节点代表一个超平面，该超平面垂直于当前划分维度的坐标轴，并在该维度上将空间划分为两部分。KD-Tree两个关键问题：① 树的建立；②最近邻域搜索。

KD-Tree和二叉搜索树的不同点在于，二叉搜索树每个节点只有一维特征，所以构建二叉搜索树时只需要根据这一维数据进行划分即可；对于多维数据，KD-Tree的划分策略是交替地使用每一维特征进行划分。KD-Tree会将三维空间分割成下图形式：

**KD-Tree本质上就是一种数据结构，**它的优点：① 搜索效率高；② 它是自平衡的，所以插入、删除数据也能保持高效；③ 易于实现。

3.2 生成KD-Tree

（1）初始化树深为

d

e

p

t

h

=

0

depth=0

depth=0和KD-Tree维度

K

K

K为数据维度；

（2）计算当前划分维度

s

p

l

i

t

=

d

e

p

t

h

%

K

split=depth,%,K

split=depth%K，对当前维度数据进行排序并取其中位数；

（3）将该中位数作为分割点，并将其所在数据对作为当前根节点；

（4）将该维度数据小于该中位数的数据对传给当前根节点的左子树，将该维度数据大于该中位数的数据对传给当前根节点的右子树；

（5）递归执行步骤（2）~