40、图解：用于视频分析的混合视觉信息表示与推理范式

图解：用于视频分析的混合视觉信息表示与推理范式

1. 引言

人类和动物通过视觉或基本感官直接感知空间实体的时空信息，这些信息往往是不完整和不精确的。一个智能的视觉系统需要具备全面的表示和认知知识处理能力。定性空间和时间推理（QSTR）是一个成熟的领域，可对空间信息进行定性抽象，用于日常推理。而图示表示和推理（DR）则支持基于图表的情况表示，并能通过操作感知新信息。本文提出了一种混合方法，通过图表对视频数据进行强大而富有表现力的关系表示，并通过操作跟踪的视频对象之间的定性时空关系进行推理。

2. 相关工作与动机

2.1 定性空间和时间推理

QSTR在空间知识处理领域是一个活跃的研究方向，已经开发并建立了许多形式化方法，例如：
- 兰德尔（Randell）提出的区域连接演算（RCC）
- 弗兰克（Frank）提出的主方向演算（CDC）
- 巴尔比亚尼（Balbiani）提出的矩形代数（RA）
- 艾伦（Allen）提出的区间逻辑（IA）

此外，科恩（Cohn）等人提出了用于视频分析的综合表示CORE9，阿莲·科尔（Ah Lian Kor）提出了一种改进的混合主方向模型。

2.2 图示推理

通过心理地图、图示表示和心理图像等类比表示进行认知知识处理已成为一个有前途的领域。例如：
- REDRAW是一个基于图示操作和逻辑推理的定性结构分析器
- 安德森（Anderson）定义了跨图示推理（IDR），用于在定义的“图示”表示上进行时空抽象
- 纳拉亚南（Narayanan）通过预定义知识对空间结构上的运动关系进行抽象