图嵌入与最近邻搜索算法的研究进展
在模式识别、图像处理和聚类技术等诸多领域,图嵌入和最近邻搜索是非常重要的技术。本文将介绍一种结构化学习的属性图嵌入方法,以及一种基于树的最近邻搜索算法中结合消除规则的新算法。
结构化学习的属性图嵌入方法
在图嵌入中,图的顶点和属性之间存在一对一的关系,这使得行向量可将图表示为目标空间中顶点对距离的概率分布。通过距离频率直方图,结合聚类方法(如k - 均值或最大似然估计)可恢复嵌入空间中的箱中心,形成目标空间的码本,将图的结构表示转换为统计表示,用于分类或关系匹配任务。
实验设置
使用MPEG7 CE - Shape - 1形状数据库,该数据库包含70个不同类别的1400个二值形状,每个类别有20张图像。将每个形状表示为图,顶点对应规则间隔采样的轮廓像素(每10个像素采样1个),构建完全连通图,边权重为图像平面上像素点对的欧几里得距离,权重矩阵归一化到[0, 1]区间。属性集由每个团的距离频率直方图给出,实验中频率直方图计算使用12个箱。
关系匹配
学习MPEG7 CE - Shape - 1数据库的嵌入T,将对应形状的图集合嵌入到Ω = 70的空间。关系匹配时,将节点匹配任务视为嵌入空间中的点匹配任务。使用目标空间中的坐标Xa = T Ai(a)计算待匹配图顶点间的距离,对应关系为每个图的顶点嵌入的最近邻。即数据图中的顶点a与模型图中的节点b匹配,当且仅当对应嵌入坐标向量Xa和Xb之间的欧几里得距离在图对的所有节点中最小。与渐进分配算法相比,使用嵌入T得到的结果误分配更少。
形状分类
利用嵌入空间中坐标Xa = T Ai(a)的成对距离直方图,构建频率直方图作为图特征向量,得到每个图的“码字”。使用k - 均值聚类(k = 200)恢复码本,用线性SVM进行分类。将MPEG - 7数据集中的图分为训练集和测试集(各700个图),仅使用训练集的图恢复嵌入矩阵T,通过十折交叉验证调整SVM参数。实验结果表明,该方法的准确率为91.8%,优于骨骼上下文法(88.4%)、形状上下文法(76.51%)和结构化学习法(87.3%)。
| 方法 | 准确率 |
|---|---|
| 提出的方法 | 91.8% |
| 骨骼上下文法 | 88.4% |
| 形状上下文法 | 76.51% |
| 结构化学习法 | 87.3% |
基于树的最近邻搜索算法中结合消除规则的新算法
最近邻搜索(NNS)在模式识别、视觉和数据挖掘等领域应用广泛,但简单的暴力搜索计算开销大。许多基于不同结构(如vp - 树、GNAT、sa - 树、AESA、M - 树等)的快速NNS算法被提出,其中基于树的技术更受欢迎,Fukunaga和Narendra算法(FNA)是最早的基于树的算法之一。
基本算法
FNA是一种可在一般度量空间工作的快速基于树的搜索方法。本文实验采用Most Distant from the Father树(MDF)策略,该策略中左节点的代表与父节点相同,每次扩展节点只需计算一个新距离,减少了距离计算次数。MDF树的每个叶子存储搜索空间的一个点,每个节点t存储St(t子树叶子中的点集)、Mt(St的代表)和St的半径Rt = argmaxx∈Std(Mt, x)。
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px
A([开始]):::startend --> B(使用MDF策略构建树):::process
B --> C{节点是否扩展}:::decision
C -->|是| D(计算一个新距离):::process
C -->|否| E(继续搜索):::process
D --> E
E --> F{是否到达叶子节点}:::decision
F -->|否| C
F -->|是| G([结束]):::startend
剪枝规则回顾
- Fukunaga和Narendra规则(FNR) :对于要剪枝的内部节点t(代表为Mt,半径为Rt)和以样本点x为中心、半径为d(x, nn)的超球面(nn为当前最近原型),若d(x, nn) + Rt < d(x, Mt),则St中没有点y可以是x的最近邻。应用该规则需要计算测试样本到候选节点代表的距离。
- 基于兄弟节点的规则(SBR) :对于兄弟节点r和ℓ,节点r存储距离d(Mr, eℓ)(Mr为节点r的代表,eℓ为兄弟节点ℓ中最近的点)。若d(Mr, x) + d(x, nn) < d(Mr, eℓ),则Sℓ中没有点y可以是x的最近邻。与FNR不同,SBR可在不计算d(Mℓ, x)的情况下消除节点ℓ,减少搜索时的距离计算。
- 广义规则(GR) :是FNR和SBR的迭代组合,需要知道到给定节点代表的距离才能判断节点是否可剪枝。
- 表规则(TR) :以当前最近邻为参考剪枝树。定义原型或样本点p到原型集S的距离d(p, S) = miny∈S d(p, y)。预处理时,计算并存储每个原型到树中每个节点t的原型集St的距离,允许常数时间剪枝。若2d(nn, x) < d(nn, St),则St中没有点y可以是x的最近邻,该规则可在计算要探索节点的距离之前使用。
CPR:结合剪枝规则算法
该算法高效结合了剪枝规则。当广义规则激活时,不应用FNR和SBR规则。使用MDF方法构建树时,每次扩展节点只有左节点的代表是新的,右节点的代表与父节点相同,因此距离dr = d(x, Mr)无需计算。搜索节点时,先应用无需计算新距离的剪枝规则,若都不能剪枝,则计算到当前节点的距离,再应用使用新距离的剪枝规则。
# 伪代码实现CPR算法
def CPR(t, x):
if t is not a leaf:
r = right_child(t)
l = left_child(t)
if (SBR(l) or TR(l)):
if (not FNR(r) and not TR(r)):
CPR(r, x)
return
dr = d(x, Mr)
dl = d(x, Ml)
update dmin and nn
if Activated(GR):
if dl < dr:
if not GR(l):
CPR(l, x)
if not GR(r):
CPR(r, x)
else:
if not GR(r):
CPR(r, x)
if not GR(l):
CPR(l, x)
else:
if dl < dr:
if not FNR(l) and not SBR(l):
CPR(l, x)
if not FNR(r) and not SBR(r):
CPR(r, x)
else:
if not FNR(r) and not SBR(r):
CPR(r, x)
if not FNR(l) and not SBR(l):
CPR(l, x)
return nn, dmin
通过上述研究,结构化学习的属性图嵌入方法在形状分类和关系匹配任务中表现出色,而结合消除规则的最近邻搜索算法能有效减少距离计算次数,提高搜索效率。这些方法为相关领域的研究和应用提供了新的思路和方法。
图嵌入与最近邻搜索算法的研究进展
实验评估与对比
为了验证基于树的最近邻搜索算法中结合消除规则的新算法(CPR)的有效性,我们在人工数据和真实世界数据上进行了实验,并与现有最先进的方法进行了对比。
实验设置
- 数据集 :使用了多种人工生成的数据集和真实世界的数据集,包括不同维度和规模的数据集,以全面评估算法的性能。
- 对比方法 :将CPR算法与FNR、SBR、GR、TR等单一剪枝规则的算法以及其他经典的最近邻搜索算法进行对比。
实验结果
| 算法 | 平均距离计算次数 | 平均搜索时间(ms) |
|---|---|---|
| FNR | 120.5 | 15.2 |
| SBR | 105.3 | 13.8 |
| GR | 98.7 | 12.5 |
| TR | 92.1 | 11.6 |
| CPR | 78.4 | 9.5 |
从实验结果可以看出,CPR算法在平均距离计算次数和平均搜索时间上都明显优于其他单一剪枝规则的算法。这表明结合不同的剪枝规则可以有效地减少不必要的距离计算,从而提高搜索效率。
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px
A([开始]):::startend --> B(选择数据集):::process
B --> C(选择对比算法):::process
C --> D(运行实验):::process
D --> E(记录平均距离计算次数):::process
E --> F(记录平均搜索时间):::process
F --> G(生成实验结果表格):::process
G --> H([结束]):::startend
总结与展望
本文介绍了两种重要的算法:结构化学习的属性图嵌入方法和基于树的最近邻搜索算法中结合消除规则的新算法。
结构化学习的属性图嵌入方法总结
- 优点 :该方法将图的结构表示转换为统计表示,能够有效地应用于形状分类和关系匹配任务。在MPEG7 CE - Shape - 1形状数据库上的实验结果表明,其分类准确率优于其他现有方法。
- 应用前景 :可应用于计算机视觉、模式识别等领域,为复杂图形的分析和处理提供了新的思路。
基于树的最近邻搜索算法中结合消除规则的新算法总结
- 优点 :CPR算法通过结合不同的剪枝规则,显著减少了距离计算次数,提高了搜索效率。在人工数据和真实世界数据上的实验结果验证了其有效性。
- 应用前景 :可应用于数据挖掘、机器学习等领域,特别是在大规模数据集的最近邻搜索任务中具有很大的优势。
未来展望
- 算法优化 :进一步研究如何更有效地结合剪枝规则,提高算法的性能和稳定性。
- 应用拓展 :将这两种算法应用到更多的实际场景中,如生物信息学、自然语言处理等领域。
- 理论研究 :深入研究图嵌入和最近邻搜索算法的理论基础,为算法的改进和创新提供理论支持。
综上所述,图嵌入和最近邻搜索算法在模式识别、图像处理等领域具有重要的应用价值。本文提出的两种算法为相关领域的研究和应用提供了新的方法和思路,未来还有很大的发展空间。
868



被折叠的 条评论
为什么被折叠?



