13、多媒体解释的逻辑形式化

多媒体解释的逻辑形式化

1. 引言

如今，本地存储库和网络资源中的许多文档都是多媒体文档，它们不仅包含文本信息，还包含视觉和听觉信息。然而，由于当前文本索引技术的成功，仅依靠文本来源信息的检索技术仍然被广泛使用。为了提高多媒体检索的精度和召回率，利用所有模态的信息是必不可少的，并且需要对多媒体内容进行高级描述。这些符号描述，也称为深层语义注释，在促进富有表现力的多媒体检索中起着至关重要的作用。

多媒体解释被定义为基于低级媒体分析过程和具有形式逻辑语义的特定领域概念数据模型生成深层语义注释的过程。本文的主要目标是介绍解释的逻辑形式化，探讨逻辑在解释过程中的作用，同时忽略概率方法。

2. 解释的先决条件：媒体分析

在过去至少三十年里，人们一直在研究识别不同模态中直接可观察到的信息，即表面级信息。

2.1 自然语言处理中的信息提取

在自然语言处理中，信息提取是主要任务之一，旨在自动提取结构化信息，如命名实体和实体之间的某些关系。评估表明，最先进的信息提取系统是非常强大的语言分析工具，能够以高于90%的准确率识别名称和名词组。不同的系统采用了各种机器学习技术，如k近邻或隐马尔可夫模型，并已成功用于解决现实世界的问题。然而，信息提取是一个比一般语言理解更受限的问题，这些系统中使用的语言分析技术只能提供简单、可靠的符号内容描述，不如完整的句法语言分析强大。例如OpenCalais系统，它以基于逻辑的语言将结果作为文本注释返回。但在提取需要深入理解领域的抽象信息（如事件）时，信息提取系统通常表现不佳。

2.2 计算机视觉中的目标识别

在计算机视觉中，目标识别旨在在图像（场景）或图像序