基于树的NNS算法中消除规则的组合与局部投影学习
在模式识别和数据处理领域,高效的搜索算法和学习方法至关重要。本文将介绍基于树的最近邻搜索(NNS)算法中消除规则的组合实验,以及局部投影学习的相关内容,通过实验对比不同算法和规则的性能,为实际应用提供参考。
实验设置
为了比较新算法与现有先进方法的性能,选择了两种方法作为对比:
-
多关键点树(mvp)
:一种平衡树,需要线性空间,其节点的分支度可以扩展,每个节点可以应用多个关键点。在实验中,设置每个节点只有一个关键点,桶大小为1,分支度为2,因为初步实验表明这种设置在数据集上性能更好。
-
空间近似树(sat)
:其结构基于Delaunay三角剖分的图,不依赖任何参数。
实验在配备16GB内存的Linux系统上进行。为了便于图表展示,将FNR规则(以及SBR、GR和TR规则)分别缩写为”f”(分别对应”s”、”g”和”t”),因此FBR和SBR的组合表示为”fs”。由于”g”规则涵盖了”s”和”f”规则,即被”s”或”f”规则剪枝的分支也会被”g”规则剪枝,所以不考虑”g”与”s”或”f”的组合。
人工均匀分布数据实验
考虑在维度n从5到30的空间中抽取的点,算法通过不断增加原型数量进行比较,原型集的大小从2000个原型以4000为步长增加到30000个。每个实验测量10000次搜索的平均距离计算次数(在10个不同原型集上进行1000次搜索),样本来自同一分布。
-
距离计算次数对比
:图3a显示了在10维均匀分布空间中的平均距离计算次数。可以看出,sat和mvp算法的性能不如其他剪枝规则。虽然表规则(TR)在距离计算次数上优于FNR和GR规则,但FNR和GR方法的空间消耗小于表规则,在空间能力有限的情况下,这些方法更值得选择。以经典的FNA算法为参考,GR和TR规则优于原始的FNR规则。此外,将表规则与兄弟规则或广义规则组合的性能不如将FNR和表规则组合,因为FNR规则的有效计算成本低于广义规则。由于”g”规则涵盖了兄弟规则,所以”fst”组合的性能并不优于”fg”组合。
-
维度灾难问题
:随着空间维度的增加,单位超立方体的体积呈指数增长,点之间的距离趋于相似,这会导致算法的剪枝能力下降,算法表现类似于暴力搜索。图3b展示了随着维度增加,各种方法的性能变化。可以观察到,TR规则对维度的敏感性低于其他方法,并且在维度为25时,”ft”组合能够节省20%的距离计算,而其他方法则进行了所有距离的计算,如同穷举搜索。
此外,还进行了两个额外的实验:
-
搜索策略对比
:比较了最佳优先策略和深度优先策略的差异,结果显示两者相似,因此在本研究中仅使用深度优先策略。
-
数据库检查百分比分析
:分析了所有方法对数据库的检查百分比,结果表明CPR方法在平均访问较少节点(或数据集中的点)的情况下,也减少了搜索的开销。
真实世界数据实验
为了展示算法在真实数据上的性能,在拼写任务上进行了测试。使用包含69069个英文单词的字典数据库,通过对字典中的单词进行随机插入、删除和替换操作来模拟拼写输入测试,使用Levenshtein距离来比较单词。
实验中,通过从整个字典中随机提取单词,获得不同大小(从2000到30000)的字典。测试点通过对训练集中的单词进行变形得到,每次实验生成1000个变形单词作为测试集,并重复10次以获得可靠结果,结果取平均值。
实验结果显示,当SBR规则与FNR规则组合时,距离计算次数减少约20%;广义规则相对于参考FNR规则可减少约40%。而将“f”和“t”规则(无论是否包含“g”规则)组合时,明显优于其他组合,可节省60%的平均距离计算次数,与其他类型的数据实验结果一致。
实验总结
通过人工数据和真实世界数据的实验,新算法在优化多个剪枝规则的组合方面表现出色。单独应用规则时,在低维度下可减少20% - 60%的距离计算,且随着维度增加,减少幅度会降低。规则组合时,在平均距离计算次数和方法开销(以访问节点或点的平均数量衡量)方面有更显著的减少,例如在10维空间中可减少约80%。在真实拼写任务中也取得了类似的结果。
局部投影学习
在模式识别中,分类器的设计可以通过回归实现。引入虚拟输出y代替类别标签输出,目标是估计目标函数f,使得y = f(x),其中x是具有p个输入特征的样本,y是相应的输出。本文比较了两种典型但准则不同的核机器:支持向量机(SVM)和投影学习(PL),并提出了局部投影学习(LPL)以解决投影学习的可扩展性问题。
再生核希尔伯特空间
再生核希尔伯特空间是理解上述方法的关键概念。
定义1
:设$R^p$是p维实向量空间,$H$是定义在$D \subset R^p$上的一类函数,构成实值函数的希尔伯特空间。函数$K(x, \tilde{x})$($x, \tilde{x} \in D$)称为再生核,如果满足:
1. 对于每个$\tilde{x} \in D$,$K(x, \tilde{x})$是属于$H$的关于$x$的函数。
2. 对于每个$\tilde{x} \in D$和每个$f \in H$,$f(\tilde{x}) = \langle f(x), K(x, \tilde{x}) \rangle_H$,其中$\langle \cdot, \cdot \rangle_H$表示希尔伯特空间$H$的内积。
具有再生核的希尔伯特空间$H$称为再生核希尔伯特空间(RKHS),再生性质使我们能够通过$H$中两个元素的内积来处理函数值。
为了揭示核的再生性质,引入Schatten积:
定义2
:设$H_1$和$H_2$是希尔伯特空间,$g \in H_2$和$h \in H_1$的Schatten积定义为$(g \otimes h)f = \langle f, h \rangle_{H_1}g$,$f \in H_1$。$(g \otimes h)$是从$H_1$到$H_2$的线性算子,并且对于$h, v \in H_1$,$g, u \in H_2$,有以下关系成立:
- $(h \otimes g)^* = (g \otimes h)$
- $(h \otimes g)(u \otimes v) = \langle u, g \rangle_{H_2}(h \otimes v)$
其中上标$*$表示伴随算子。
投影学习(PL)
给定训练数据集${(y_i, x_i)|i = 1, \ldots, \ell}$,其中$x_i \in R^p$,$y_i \in R$,满足$y_i = f(x_i) + n_i$,$f$表示真实函数,$n_i$表示零均值加性噪声。假设未知函数$f$属于具有核函数$K$的RKHS $H_K$,根据再生性质,上述方程可重写为$y_i = \langle f(x), K(x, x_i) \rangle_{H_K} + n_i$。
设$y = [y_1, \ldots, y_{\ell}]’$和$n = [n_1, \ldots, n_{\ell}]’$,应用Schatten积可得$y = \left(\sum_{k = 1}^{\ell}[e^{(\ell)} k \otimes K(x, x_k)]\right)f(x) + n$,其中$e^{(\ell)}_k$表示$R^{\ell}$的规范基的第$k$个向量。为了方便描述,令$A {K,X} = \left(\sum_{k = 1}^{\ell}[e^{(\ell)} k \otimes K(x, x_k)]\right)$,则方程可简化为$y = A {K,X}f + n$。
投影学习的目标是在零均值噪声的情况下,使目标函数$f$和估计器$\hat{f}$在$X$上的均方误差最小。通过求解无噪声的方程,得到最优估计器为$\hat{f}(\cdot) = A^+ {K,X}y = A^ {K,X}(A {K,X}A^ {K,X})^+y = \sum_{k = 1}^{\ell}y’G^+ {K,X}e^{(\ell)}_k K(\cdot, x_k)$,其中$*$是伴随矩阵,$+$是Moore - Penrose广义逆,$G {K,X} = (K(x_i, x_j))$是$\ell \times \ell$的“Gram矩阵”。
当没有误差时,$\hat{f} = A^ {K,X}(A {K,X}A^ {K,X})^+A {K,X}f = P_{R(A^* {K,X})}f = \sum {k = 1}^{\ell}\alpha_k K(x, x_k)$,$\hat{f}$是$J_{PL}(\hat{f}) = ||f - \hat{f}||^2_{H_K}$的最小化器,其中$\hat{f} \in span{K(\cdot, x_1), K(\cdot, x_2), \ldots, K(\cdot, x_{\ell})}$。并且当$G^+ = G^{-1}$时,$\hat{f}$在样本集$X$上与$f$等价。
然而,当考虑噪声时,情况会发生变化。随着训练样本数量的增加,投影误差减小,但噪声引起的误差增加,导致总近似误差$||f - \hat{f}||^2_{H_K}$的变化不确定。此时,$\hat{f} = A^+ {K,X}y = A^+ {K,X}(A_{K,X}f + n) = A^+ {K,X}A {K,X}f + A^+ {K,X}n = P {R(A^ {K,X})}f + A^+ {K,X}n$,有$||f - \hat{f}||^2_{H_K} = ||f - P_{R(A^ {K,X})}f||^2 {H_K} + ||A^+ {K,X}n||^2 {H_K} = ||f||^2_{H_K} - f’G^+ {K,X}f + n’G^+ {K,X}n$。由于$G^+_{K,X}$是对称且非负定的,随着样本数量的增加,第二和第三项的绝对值会增大,从而产生权衡问题。
支持向量机(SVM)
支持向量机最初是为分类问题在分离条件下进行范数最小化而提出的,也可视为一种回归算法。其回归形式的准则为$J_{SVM}(\hat{f}) = \frac{1}{\ell}\sum_{i = 1}^{\ell}|1 - y_i\hat{f}(x_i)| + + \lambda|\hat{h}|^2 {H_K}$,其中$| \cdot | +$是一个函数,对于正值保留其值,否则为零。这里$f$分解为$\hat{f} = \hat{h} + \hat{c}$,$\hat{h} \in H$,$\hat{c}$是常数,$P\hat{f} = \hat{h}$。如果${1} \subset H_K$,则方程可重写为$J {SVM}(\hat{f}) = \frac{1}{\ell}\sum_{i = 1}^{\ell}|1 - y_i\hat{f}(x_i)| + + \lambda|P\hat{f}|^2 {H_K}$,其中$P\hat{f}$是$\hat{f}$在$H_K$中${1}$的正交补空间上的投影。该准则的最小化器形式为$\hat{f}(\cdot) = \sum_{i = 1}^{c}c_i K(\cdot, x_i) + c_0$,即$P\hat{f}$是$\hat{f}$在$span{K(\cdot, x_1), K(\cdot, x_2), \ldots, K(\cdot, x_{\ell})}$上的投影。
局部投影学习(LPL)
投影学习可以显式表示为$\hat{f}(x) = (K(x, x_1), \ldots, K(x, x_{\ell}))\begin{pmatrix}K(x_1, x_1) & K(x_1, x_2) & \cdots & K(x_1, x_{\ell}) \ K(x_2, x_1) & K(x_2, x_2) & \cdots & K(x_2, x_{\ell}) \ \vdots & \vdots & \ddots & \vdots \ K(x_{\ell}, x_1) & K(x_{\ell}, x_2) & \cdots & K(x_{\ell}, x_{\ell})\end{pmatrix}^{-1}\begin{pmatrix}y_1 \ y_2 \ \vdots \ y_{\ell}\end{pmatrix} = K(x)G^{-1}_{K,X}y$。
在局部版本中,使用与数据相关的$k$($\leq \ell$)个训练样本进行$\hat{f}$的计算。设$N_i$($i = 1, 2, \ldots, k$)是$x$在$X$中的第$i$个最近邻,通过将样本集从$X$限制到$X_{kNN}(x) = {x_{N_1}, x_{N_2}, \ldots, x_{N_k}}$,得到$\hat{f}(x) = (K(x, x_{N_1}), \ldots, K(x, x_{N_k}))\begin{pmatrix}K(x_{N_1}, x_{N_1}) & \cdots & K(x_{N_1}, x_{N_k}) \ \vdots & \ddots & \vdots \ K(x_{N_k}, x_{N_1}) & \cdots & K(x_{N_k}, x_{N_k})\end{pmatrix}^{-1}\begin{pmatrix}y_{N_1} \ y_{N_2} \ \vdots \ y_{N_k}\end{pmatrix} = K_{kNN}(x)G^{-1} {K,X {kNN}}y_{kNN}$。
通过以上实验和理论分析,在基于树的NNS算法中,不同剪枝规则的组合可以有效减少距离计算和搜索开销;局部投影学习为投影学习的可扩展性提供了一种解决方案,并且与SVM的比较为分类问题的算法选择提供了参考。未来可以进一步研究新的剪枝规则和组合,以及如何将这些方法应用于动态树结构。
基于树的NNS算法中消除规则的组合与局部投影学习
不同算法和规则性能对比总结
为了更清晰地展示不同算法和规则在各项实验中的性能,下面通过表格进行总结:
|实验类型|对比算法/规则|性能指标|结果|
| ---- | ---- | ---- | ---- |
|人工均匀分布数据实验|sat、mvp与其他剪枝规则|平均距离计算次数|sat和mvp被其他剪枝规则超越|
| |FNR、GR、TR规则|平均距离计算次数、空间消耗|TR规则在距离计算上表现优,但FNR和GR空间消耗小|
| |不同规则组合|平均距离计算次数|“ft”组合在高维度有优势,能节省距离计算|
| |最佳优先与深度优先策略|实验结果|两者结果相似,采用深度优先策略|
| |各方法|数据库检查百分比|CPR方法减少搜索开销|
|真实世界数据实验|不同规则组合|平均距离计算次数|“f”和“t”规则组合节省60%距离计算|
从这个表格可以直观地看出不同算法和规则在不同实验条件下的优劣,为实际应用中的算法选择提供了有力依据。
局部投影学习的优势与应用场景分析
局部投影学习(LPL)通过引入与数据相关的$k$个训练样本,解决了投影学习(PL)的可扩展性问题。以下是LPL与PL、支持向量机(SVM)的对比分析:
-
可扩展性
:PL在处理大规模数据时,由于需要计算和存储整个Gram矩阵$G_{K,X}$,会面临空间和计算成本的挑战。而LPL通过限制样本集到$X_{kNN}(x)$,减少了计算和存储的负担,提高了可扩展性。
-
性能表现
:在一些数据集上,LPL能够在保证一定性能的前提下,显著减少计算量。与SVM相比,虽然SVM在最优设置下表现出色,但设置难度较大,LPL则提供了一种相对简单且有效的替代方案。
-
应用场景
:LPL适用于数据量较大、对计算效率有较高要求的场景,例如大规模图像分类、文本分类等。在这些场景中,通过选择合适的$k$值,可以在性能和效率之间取得较好的平衡。
下面是一个mermaid流程图,展示了局部投影学习的计算流程:
graph TD;
A[输入样本x] --> B[找到x的k个最近邻X_kNN(x)];
B --> C[构建局部Gram矩阵G_K,X_kNN];
C --> D[计算逆矩阵G^-1_K,X_kNN];
D --> E[计算K_kNN(x)];
E --> F[计算y_kNN];
F --> G[计算估计值f_hat(x)=K_kNN(x)G^-1_K,X_kNNy_kNN];
未来研究方向展望
虽然已经在基于树的NNS算法和局部投影学习方面取得了一定的成果,但仍有许多值得进一步研究的方向:
1.
新的剪枝规则和组合
:继续探索新的剪枝规则,寻找更有效的规则组合方式,以进一步提高基于树的NNS算法的性能。可以通过理论分析和实验验证相结合的方法,挖掘潜在的规则组合。
2.
动态树结构的应用
:研究如何将现有的算法和规则应用于动态树结构中。在实际应用中,数据往往是动态变化的,动态树结构能够更好地适应这种变化。需要解决的问题包括如何在树结构动态更新时,保证剪枝规则的有效性和计算效率。
3.
算法的适应性改进
:尝试将当前的算法进行适应性改进,以应用于更多类型的树基搜索方法。不同的树基搜索方法可能具有不同的特点和应用场景,通过对算法进行微调,可以扩大其应用范围。
4.
结合深度学习
:考虑将基于树的NNS算法和局部投影学习与深度学习相结合。深度学习在处理复杂数据和模式识别方面表现出色,与传统算法的结合可能会带来更好的性能提升。例如,可以利用深度学习提取特征,然后使用基于树的NNS算法进行快速搜索。
综上所述,基于树的NNS算法中消除规则的组合以及局部投影学习为模式识别和数据处理提供了有效的方法和思路。通过不断的研究和改进,这些方法有望在更多领域得到广泛应用,为解决实际问题提供更强大的工具。



被折叠的 条评论
为什么被折叠?



