10、语义建模在视觉关系检测及本体分布对推理影响的研究

语义建模在视觉关系检测及本体分布对推理影响的研究

在当今的数据和视觉处理领域，如何有效地利用语义知识提升视觉关系检测的能力，以及本体数据的分布对推理结果的影响，是两个备受关注的重要问题。下面我们将详细探讨这两方面的研究内容。

视觉关系检测中的语义建模

在视觉关系检测中，将语义知识融入其中是一种创新的方法。研究者结合了最先进的计算机视觉程序和用于链接预测的潜在变量模型，以此来增强对视觉对象之间关系的建模。

• 不同模型的召回率表现

  • 不同的模型在召回率方面有着不同的表现。例如，ComplEx和RESCAL的性能相对较快地收敛到约16的召回率，Multiway Neural Network收敛稍慢，达到的最大召回率略小，而DistMult收敛更慢，最大召回率仅为12.5。
  • 在零样本学习的实验设置中，只对训练数据中未观察到的三元组进行评估，这揭示了语义模型的泛化能力。从表1的实验结果可以看出，零样本任务难度更大，召回率大幅下降，但包含语义模型能显著提高预测效果。
    | 任务评估 | 短语检测（Phrase det.） | 关系检测（Rel. det.） | 谓词检测（Predicate det.） | 三元组检测（Triple det.） |
    | — | — | — | — | — |
    | 指标 | R@100 R@50 | R@100 R@50 | R@100 R@50 | R@100 R@50 |
    | Lu et al. V [18] | 1.12 0.95 | 0.78 0.67 | 3.52 3.52 | 1.20 1