25、语义视频标注工具综述

语义视频标注工具综述

在当今的应用中，视频数据的使用量不断增加，这不仅使视频作为一种内容类型受到更多关注，也给有效的内容管理带来了新挑战。图像标注方法可用于描述视频流中的静态场景，但要捕捉和描述视频对象在时间维度上的信息，还需要额外的要求。下面为大家介绍几种典型的视频标注工具。

1. VIA

VIA（Video and Image Annotation）工具由MK - Lab在BOEMIE项目中开发。它支持图像和视频资产的描述性、结构性和媒体元数据。
- 描述性标注 ：基于用户加载的OWL本体进行，也可添加自由文本描述。
- 管理元数据 ：遵循工具内部的自定义模式，包含标注创建者、创建日期等信息。
- 结构性信息 ：使用自定义XML模式表示，可嵌套视频片段并定义其起始和结束帧/时间间隔。生成的元数据可导出为XML或更易读的文本格式。

在图像标注方面，支持的粒度级别包括整个图像和特定静止区域。区域定位可半自动进行（提供分割图像并允许用户合并区域进行修正）或手动进行（使用自由手绘、多边形、圆形、矩形等绘图功能）。对于图像标注，还支持基于MPEG - 7 XM提取每个标注区域的MPEG - 7视觉描述符，标注结果可作为语义提取算法的训练集。

在视频标注方面，支持的标注粒度可分别针对整个视频、视频片段、移动区域、帧甚至帧内的静止区域。可对MPEG - 1和MPEG - 2视频进行实时标注，界面由三个面板组成：
- 区域标注面板 ：用户选择视频内容的矩形区域并添加相应标注。
- 镜头标注面板 ：用于镜头级别的标注。
- 视频标注面板 ：用于视频级别的标注。镜头边界需手动定义，通过选择起始和结束帧。区域标注的一个重要特性是，用户可在视频播放时拖动所选区域，以跟踪所需区域的移动。标注可保存为标注项目，方便后续检索和更新。VIA是公开可用的。

2. VideoAnnEx

IBM的VideoAnnEx标注工具使用MPEG - 7元数据进行视频标注。尽管开发该工具的项目已结束且不再维护，但它仍可访问，是符合MPEG - 7倡议的内容标注示例。

它支持根据相应的MPEG - 7描述方案进行描述性、结构性和管理性标注。描述性元数据可针对整个视频、特定视频片段（镜头）甚至关键帧内的静止区域。工具支持XML格式的默认主题词表，用户还可创建和加载自己的XML词表，通过界面菜单命令设计概念层次结构，或插入自由文本描述。

VideoAnnEx的标注界面由四个组件组成：
- 视频播放窗口 ：位于右上角，显示镜头信息，支持标准VCR操作，可加载MPEG - 1或MPEG - 2格式的视频文件。
- 镜头标注面板 ：位于左上角，显示关键帧图像。工具支持自动镜头检测或加载自定义视频分割列表。
- 概念层次结构显示区域 ：位于两个显示窗口之间，显示加载的XML词表的概念层次结构。
- 标注预览区域 ：位于底部，有两种视图，分别包含镜头的I帧和视频中每个镜头的关键帧。用户可在每个镜头的关键帧下方查看该镜头到目前为止所获得的标注。还有一个未在图中显示的区域标注弹出窗口，用于使用矩形指定标注区域。文本标注在镜头标注窗口识别后，每个描述可与该镜头所选关键帧上的相应矩形区域关联。

该工具还提供了一个额外的功能——标注学习，可帮助标注者找到相似镜头并使用相同描述进行标注。VideoAnnEx运行在Windows平台上，需遵循IBM的使用条款。

3. Ontolog

Ontolog是一个使用结构化术语/概念集对视频和音频源进行标注的工具，是一个Java应用程序，由挪威科技大学的一个博士论文项目设计开发。尽管过去四年未维护，但可根据请求获取源代码。

它处理各种类型的元数据，包括描述性、结构性和管理性。描述性标注根据用户导入或创建的一个或多个RDFS本体插入，用户还可通过引入额外属性丰富主题描述。对于管理性元数据，Ontolog默认提供两个本体，即Dublin Core Element Set和Dublin Core Qualified Element Set。关于视频片段的结构性描述根据用户定义的间隔创建，遵循Ontolog Schema本体中定义的简化结构表示。生成的标注为RDF格式。

Ontolog的界面由四个组件组成：
- 媒体面板 ：处理标注项目中包含的视频资产，可使用Quicktime（for Java）或JMF框架加载媒体（及相应媒体格式）。
- 本体编辑器 ：提供定义概念层次结构的机制。
- 日志面板 ：左侧面板包含用户正在使用的本体，右侧面板显示水平时间线，每个概念对应一个标注间隔（在该工具中称为“标注层”）。每个层由沿时间轴的一系列间隔线组成，指示媒体资源中概念存在的位置。折叠概念（树中当前未显示子概念的概念）对应的层显示为不同厚度的线，因为它们代表层次结构中下方层的聚合。时间间隔需手动指定，不支持自动或半自动时间分割。
- 属性编辑器 ：可指定定义概念之间关系的属性，每个属性可选择指定其可应用的概念类型（域）和可取值的类型（范围）。

该工具还提供了一些额外功能，如提取简单统计信息（每个概念/实例的间隔长度、该长度占媒体资源总长度的百分比等）。标注间隔集可作为媒体文件的可视化索引，由于基于树的聚合可视化技术，具有动态的详细级别。日志面板还提供SMIL导出功能，可生成SMIL文件，指定所选媒体资源的“虚拟编辑”，即与当前所选概念相关的间隔的拼接。此外，Ontolog还配有Ontolog Crawler软件，可实现许多搜索查询，方便检索任务。

4. Advene

Advene（Annotate Digital Video, Exchange on the NEt）是法国里昂第一大学LIRIS实验室的一个正在进行的项目。它有两个目标：一是提供一个用于共享数字视频文档描述的标注模型，二是作为一个创作工具，用于可视化和访问超视频（即带有标注的视频）。

标注根据用户创建的模式进行，这些模式将相关标注维度（如主题、管理等）的描述组合在一起。包含概念级别描述的模式称为标注类型，定义概念之间关系的模式称为关系类型。每个标注类型还为其标注定义一种内容类型，以MIME类型表示（如text/plain、text/XML、image/jpeg、audio/wav等）。如果类型为text/XML，还可通过结构化描述（如使用DTD）进一步约束。类似地，关系类型为其实例定义内容类型，并指定参与标注的数量及其各自的类型。生成的标注可能包含描述性、管理性和结构性信息，可针对整个视频或其时间片段，输出以XML格式存储。

Advene使用VLC视频播放器，支持多种音频和视频格式（如MPEG - 1、MPEG - 2、MPEG - 4、DivX、mp3、ogg等）以及DVD、VCD和各种流媒体协议。工具提供基于标注动态控制视频播放器的能力，以及定义动态可视化方式（视图）的功能。它允许对标注进行多种临时视图（如时间线、树视图、转录等），标注内容可作为SVG字幕显示在视频上。标注和视图可通过嵌入式Web服务器独立于视听材料以包的形式共享，该服务器使用标注中的数据动态生成XHTML文档。

Advene的主要重点不是支持标注任务本身，而是提供可视化手段和上述功能，以方便管理现有的标注元数据。这也解释了它支持多种标注格式的原因，包括TXT文件（每行包含标注的开始时间、结束时间和内容，用制表符分隔）、SRT字幕文件、XI XML文件、EAF文件（由ELAN生成）、PRAAT文件、CMML文件、Anvil文件、仅包含自由文本标注的MPEG - 7文件、AnnotationGraph、Shotdetect和IRI文件等。Advene根据GPL条件分发，可运行在Linux、Windows和MacOS平台上。

以下是这些工具的特点对比表格：
|工具名称|支持的元数据类型|标注粒度|界面组件|额外功能|运行平台|
| ---- | ---- | ---- | ---- | ---- | ---- |
|VIA|描述性、结构性、媒体元数据|整个图像、特定静止区域、整个视频、视频片段、移动区域、帧、帧内静止区域|三个面板（区域标注、镜头标注、视频标注）|可实时标注，区域标注可跟踪移动，标注可保存为项目|无特定限制|
|VideoAnnEx|描述性、结构性、管理性|整个视频、特定视频片段、关键帧内静止区域|四个组件（视频播放窗口、镜头标注面板、概念层次结构显示区域、标注预览区域）|标注学习|Windows|
|Ontolog|描述性、结构性、管理性|未明确提及特定粒度|四个组件（媒体面板、本体编辑器、日志面板、属性编辑器）|提取统计信息，SMIL导出，Ontolog Crawler软件辅助检索|未明确提及|
|Advene|描述性、管理性、结构性|整个视频、时间片段|未明确提及特定组件|动态控制播放器，多种视图，共享标注和视图|Linux、Windows、MacOS|

下面是一个简单的mermaid流程图，展示使用VIA进行视频标注的基本流程：

graph LR
    A[加载视频] --> B[选择标注粒度]
    B --> C{标注类型}
    C -->|区域标注| D[选择矩形区域并添加标注]
    C -->|镜头标注| E[手动定义镜头边界并标注]
    C -->|视频标注| F[进行视频级标注]
    D --> G[保存标注项目]
    E --> G
    F --> G

5. Elan

Elan由马克斯·普朗克心理语言学研究所开发，主要用于语言相关的标注任务，涉及对音频和视频资源中的语言、手语和手势进行分析。

该工具仅处理描述性标注，标注可以是句子、单词或注释，通常是对媒体文件中观察到的特征的任何描述。用户还可以创建和使用自己的词汇表，包含常用术语，以避免重复输入相同的术语。生成的元数据为XML格式，可针对整个视频或其时间片段。

在Elan中，标注可以在多个层（称为“层”）上创建，这些层可以进行层次互连，使得引用层中的标注与被引用层中的标注相关联。这一特性与工具的语言设计和多语言支持有关，不同的层对应不同的翻译。此外，它还可用于模拟内容的结构描述（父层描述视频对象，子层描述前者的片段），或生成包含其他标注元信息的标注。

Elan的界面如下：
- 媒体播放器 ：位于界面左上角，支持的视频格式种类和数量取决于用户安装的媒体框架，有Windows Media Player、QuickTime和JMF三种支持的媒体播放器。播放器窗口下方是媒体控制按钮，除了标准的VCR操作外，该工具还支持基于帧和用户指定标注的浏览。
- 时间线查看器 ：位于界面下部，有多个时间线，每个特定层对应一个时间线。时间线查看器显示层及其标注，每个标注对应一个特定的时间间隔。用户需要手动选择要标注的时间间隔。

此外，该工具还提供基于关键字和正则表达式的搜索功能，方便检索任务，并且支持多种导入/导出格式，如Shoebox/Toolbox、CHAT、Transcriber、Praat、SMIL等。Elan根据GPL条件分发，可运行在Windows、MacOS和Linux平台上。

6. Anvil

Anvil主要用于视听内容标注，同样侧重于语言相关目的，由认知科学研究生院和德国人工智能研究中心的一个博士论文项目开发。

它支持对视频或音频对象进行描述性、结构性和管理性标注，标注可针对整个资产或其时间片段。用户定义的XML模式规范文件用于定义标注过程中使用的词汇表，输出是一个XML文件，头部包含管理信息，主体包含描述性元数据以及关于可能的视频片段时间定位的结构信息。最近，Anvil已扩展到支持时空标注，允许将标注附加到特定点，插值功能和任意形状是未来的扩展方向。

Anvil的界面由以下部分组成：
- 媒体播放器窗口 ：加载AVI和MOV格式的文件，支持标准视频控制，包括逐帧步进。
- 标注板 ：除了标准时间线外，还有波形时间线、音高/强度时间线和每个描述概念的时间线。这些时间线遵循XML文件中概念定义的层次结构，可以折叠以方便查看。和大多数工具一样，用户需要手动定义要标注的时间片段。
- 元数据窗口 ：显示相关元数据。

Anvil可以从语音转录工具PRAAT和XWaves导入数据，还可以将数据导出到SPSS和Statistica进行标注数据的统计分析。和本节中描述的其他工具一样，Anvil提供了在标注中搜索的功能，方便检索任务，还允许创建对应每个用户喜爱标注的书签。Anvil用Java编写，可运行在Windows、Macintosh和Unix（Solaris/Linux）平台上，可根据请求公开获取。

7. 语义视频标注套件（SVAS）

语义视频标注套件（SVAS）由Joanneum研究信息系统与信息管理研究所开发，旨在创建MPEG - 7视频标注。

SVAS包含两个工具：
- 媒体分析器 ：自动提取关于镜头和关键帧的结构信息。
- 语义视频标注工具（SVAT） ：允许编辑通过媒体分析器获得的结构元数据，并根据MPEG - 7添加管理和描述性元数据。管理元数据包括创建者、制作日期、视频标题、拍摄和相机细节等信息。描述性标注对应于从SemanticBase DS派生的MPEG - 7语义描述工具，用于捕捉主题内容。

以下是剩余几种工具的特点对比表格：
|工具名称|支持的元数据类型|标注粒度|界面组件|额外功能|运行平台|
| ---- | ---- | ---- | ---- | ---- | ---- |
|Elan|描述性|整个视频、时间片段|媒体播放器、时间线查看器|关键字和正则表达式搜索，多种导入/导出格式|Windows、MacOS、Linux|
|Anvil|描述性、结构性、管理性|整个资产、时间片段|媒体播放器窗口、标注板、元数据窗口|导入/导出特定工具数据，统计分析导出，搜索功能，书签创建|Windows、Macintosh、Unix（Solaris/Linux）|
|SVAS|管理性、描述性、结构性|未明确提及特定粒度|媒体分析器、语义视频标注工具（SVAT）|自动提取结构信息，编辑和添加元数据|未明确提及|

下面是一个mermaid流程图，展示SVAS进行视频标注的基本流程：

graph LR
    A[导入视频] --> B[媒体分析器提取结构信息]
    B --> C[SVAT编辑结构元数据]
    C --> D[SVAT添加管理和描述性元数据]
    D --> E[生成MPEG - 7标注]

综上所述，不同的语义视频标注工具各有特点和适用场景。在选择工具时，需要根据具体的标注需求（如标注类型、粒度要求）、使用平台以及是否需要特定的额外功能等因素进行综合考虑。例如，如果需要进行基于本体的标注且对实时标注和区域跟踪有需求，VIA可能是一个不错的选择；如果侧重于遵循MPEG - 7标准进行标注，VideoAnnEx和SVAS会更合适；而对于语言相关的标注任务，Elan和Anvil则是专门为此设计的工具。