39、多媒体内容元数据标准与本体论

多媒体内容元数据标准与本体论

在多媒体领域，元数据标准和本体论对于有效管理、描述和检索多媒体内容至关重要。本文将介绍不同类型的多媒体元数据格式，包括静态图像、音频、视听内容等的元数据标准，以及一些特定领域的元数据格式和容器格式。

多媒体元数据格式的分类

多媒体元数据格式可以从多个维度进行分类，主要包括两个正交维度：
1. 模态和内容类型 ：关注所涵盖的媒体类型或媒体类型中包含的模态。
2. 应用领域 ：捕捉其潜在的应用领域。

此外，元数据本身有不同类型（如管理型、描述型等），元数据格式的范围、粒度和形式化程度也有所不同。我们还将根据其表示类型来讨论多媒体元数据格式，包括基于 XML 和非 XML 的格式，以及基于语义 Web 表示语言（如 RDF、RDF(S) 或 OWL）的格式。

静态图像描述的多媒体元数据

可交换图像文件格式 (EXIF)

EXIF 是一种广泛应用于数字图像的元数据格式。它的标准规定了用于数字静态相机及其他处理图像和声音文件的系统中图像和声音的格式及标签。EXIF 头携带了拍摄的图像或声音的元数据，涵盖了与图像捕获和拍摄情况相关的信息，如下表所示：
| 类别 | 具体信息 |
| ---- | ---- |
| 图像数据结构 | 高度、宽度、方向 |
| 捕获信息 | 旋转、曝光时间、闪光灯 |
| 记录偏移 | 图像数据位置、每压缩条字节数 |
| 图像数据特征 | 传输函数、色彩空间转换 |
| 通用字段 | 图像标题、版权持有者、制造商 |

这些元数据元素存储在图像文件头中，并通过唯一标签进行标识。EXIF 在 Web 2.0 平台（如 Flickr）广泛使用，并且有可用的 API 来检索和查询 EXIF 数据。

视觉资源协会 (VRA) 核心

VRA Core 4.0 是文化遗产领域的数据标准，由视觉资源协会的数据标准委员会开发。它由元数据元素集（如标题、位置、日期等信息单元）以及定义这些元素如何进行层次结构组织的初始蓝图组成。VRA Core 对描述作品（如画作）的记录和描述该作品图像（如画作的数字图像）的记录进行了逻辑区分。与都柏林核心类似，VRA Core 将词汇表中的术语称为元素，并使用限定词来细化元素。部分通用元素可以直接映射到都柏林核心中的可比字段。此外，VRA Core 提供了 XML 模式，虽然不如 EXIF 广泛传播，但有示例用法可供学习。

NISO Z39.87

NISO Z39.87 标准为数字光栅图像定义了一套超过 120 个元数据元素，旨在帮助用户开发、交换和解释数字图像文件。该标准定义的元数据字段涵盖广泛，包括基本图像参数、图像创建、成像性能评估和图像历史等。其目的是促进开发用于验证、管理、迁移和处理具有持久价值图像的应用程序，适用于大规模数字存储库或数字资产管理系统。该标准的元素字典旨在促进系统、服务和软件之间的互操作性，支持数字图像集合的长期管理和持续访问，并且提供了 XML 模式以及与 EXIF 和 DIG35 的映射。

DIG35

DIG35 规范包括一套用于数字图像的标准元数据，旨在促进互操作性和可扩展性，并提供统一的底层结构以支持各种数字成像设备之间元数据的互操作性。该标准定义了以下几个块：
1. 基本图像参数 ：指定图像的一般信息，如图像文件名、格式和大小。
2. 图像创建参数 ：指定与图像创建相关的信息，包括捕获图像的设备（如相机或扫描仪）、捕获条件的技术信息以及创建图像的软件信息。
3. 内容描述元数据 ：提供关于所描绘内容的详细信息。其建模能力远远超出基本关键字，允许使用特定领域的本体对所描绘的人物、对象、位置或事件进行详细建模。DIG35 允许通过定义区域或样条将描述与图像的部分相关联。
4. 历史元数据 ：保存关于图像创建和定制的信息以及元数据集的先前版本信息。
5. 知识产权 (IPR) 元数据 ：用于保护图像并维护道德和版权。

音频内容描述的多媒体元数据

ID3

ID3 是用于在 MP3 音频文件中嵌入元数据的容器。它允许用户指定音乐曲目信息，如标题、艺术家、专辑等。ID3 规范涵盖了广泛的元数据（以所谓的“帧”表示），包括加密、参与人员列表、歌词、音乐团体、相对音量调整、所有权、艺术家和录制日期等。此外，用户可以根据需要定义自己的属性。ID3 还定义了 79 种音乐流派（从蓝调到硬摇滚）。该格式被广泛使用，并且有许多工具和库（如 ID3Lib）支持。

音乐大脑 XML 元数据格式 (MMD)

MMD 是一种基于 XML 的文档格式，用于表示音乐元数据。其官方格式描述是 Relax NG 模式。该标准的核心集能够表达基本的音乐相关元数据，如艺术家、专辑、曲目等。MMD 预定用于音乐大脑 Web 服务，该服务提供对 Web 上开放音乐数据库 MusicBrainz 的访问，但它也可能适用于其他应用程序。

视听内容描述的多媒体元数据

MPEG - 7

MPEG - 7 标准正式名称为“多媒体内容描述”，是一个全面的多媒体内容描述标准，适用于任何类型的多媒体内容。其目标是实现多媒体内容的高效搜索、过滤和浏览，可应用于数字视听图书馆、电子新闻媒体和交互式电视等领域。MPEG - 7 提供标准化的描述方案，能够创建与内容直接关联的描述，以支持高效检索。视听信息可以以各种媒体形式表示，如图片、2D/3D 模型、音频、语音和视频。由于 MPEG - 7 具有通用性，它独立于内容的编码和存储方式。

MPEG - 7 标准化了多媒体内容的“描述工具”，包括定义多媒体描述符 (Ds)、描述方案 (DSs) 及其之间关系的方法。描述符用于表示特定的媒体特征（如视觉特征中的纹理、相机运动，或音频特征中的旋律），而描述方案则涉及更抽象的描述实体（通常是一组相关描述符）和内容的语义含义。这些描述工具及其关系使用描述定义语言 (DDL) 进行表示，W3C XML 模式建议被采用为 MPEG - 7 DDL 的最合适模式，并添加了一些扩展（数组和矩阵数据类型）以满足特定的 MPEG - 7 要求。MPEG - 7 描述可以序列化为 XML 或标准中定义的二进制格式。

MPEG - 7 标准（版本 2）结构如下：
1. MPEG - 7 系统 ：准备 MPEG - 7 描述以便高效传输和存储所需的工具以及终端架构。
2. MPEG - 7 描述定义语言 (DDL) ：用于定义 MPEG - 7 描述工具语法和新描述方案 (DS) 的语言。
3. MPEG - 7 视觉 ：专门处理视觉描述的描述工具，包括覆盖基本视觉特征（如颜色、纹理、形状、运动、定位和人脸识别）的基本结构和描述符。
4. MPEG - 7 音频 ：专门处理音频描述的描述工具，包括用于描述音频内容的低级特征（如频谱、参数和时间特征）和高级特征（如声音识别、索引等）。
5. MPEG - 7 多媒体描述方案 ：处理通用特征和多媒体描述的描述工具，提供内容描述、内容管理、内容组织、导航与访问以及用户交互等方面的描述方案。
6. MPEG - 7 参考软件 ：MPEG - 7 标准相关部分的软件实现，具有规范地位。
7. MPEG - 7 一致性测试 ：测试 MPEG - 7 实现一致性的指南和程序。
8. MPEG - 7 描述的提取和使用 ：关于一些描述工具提取和使用的信息性材料（以技术报告形式呈现）。
9. MPEG - 7 配置文件和级别 ：提供指南和标准配置文件。
10. MPEG - 7 模式定义 ：使用 DDL 指定模式。

下面是 MPEG - 7 标准结构的 mermaid 流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(MPEG - 7 标准):::process --> B(MPEG - 7 系统):::process
    A --> C(MPEG - 7 描述定义语言 (DDL)):::process
    A --> D(MPEG - 7 视觉):::process
    A --> E(MPEG - 7 音频):::process
    A --> F(MPEG - 7 多媒体描述方案):::process
    A --> G(MPEG - 7 参考软件):::process
    A --> H(MPEG - 7 一致性测试):::process
    A --> I(MPEG - 7 描述的提取和使用):::process
    A --> J(MPEG - 7 配置文件和级别):::process
    A --> K(MPEG - 7 模式定义):::process

高级创作格式 (AAF)

AAF 是一种跨平台的文件格式，用于多媒体创作工具之间的数据交换。它支持封装元数据和原始内容（本质）。面向对象的 AAF 对象模型允许对作品（如电影蒙太奇）进行基于时间线的广泛建模，包括剪辑之间的过渡和效果应用（如溶解、擦除、翻转）。此外，AAF 支持存储与事件相关的信息（如基于时间的用户注释和备注）或特定的创作指令。

AAF 文件对本质的编码方式完全无关，可作为任何本质编码规范的包装器。除了描述本质剪辑的当前位置和特征外，AAF 还支持描述本质的整个来源链，从当前状态追溯到原始存储介质（如磁带或胶片）。AAF 数据模型和本质与 AAF 文件在磁盘上的存储方式无关，最常用的存储规范是 Microsoft 结构化存储格式，但也可以使用其他存储格式（如 XML）。

素材交换格式 (MXF) - dms - 1

MXF 是一种可流式传输的文件格式，专为内容创作行业的素材交换而优化。它是一种包装/容器格式，旨在封装和准确描述一个或多个视听本质“剪辑”（视频、声音、图片等）。MXF 格式与底层音频和视频编码规范无关，它在文件头中嵌入了必要的信息，包括持续时间、所需编解码器、编码信息的时间线复杂度以及其他进行交换所需的关键特征。

结构元数据用于描述不同本质类型及其在时间线上的关系，定义了不同轨道在时间线上的同步，以及图片大小、帧率、宽高比、音频采样等本质描述参数。MXF 结构元数据源自 AAF 数据模型。除了上述结构元数据外，MXF 文件可能包含描述性元数据，这些元数据是在制作或制作规划过程中创建的，可能包含关于制作、剪辑（如使用的相机类型）或场景（如其中的演员）的信息。DMS - 1 是在 MXF 格式中标准化此类信息的尝试，并且它尽可能与其他元数据方案（如 MPEG - 7、TV - Anytime 等）和都柏林核心进行互操作。

MPEG - A

MPEG - A 是 MPEG 组开发的一系列标准中的新成员。该新标准通过从所有已发布的 MPEG 标准中选择现有技术，并将它们组合成所谓的“多媒体应用格式” (MAFs) 而开发。MPEG - A 的目标是通过选择 MPEG 标准体系中经过充分测试和验证的工具并将它们组合成 MAF，来支持快速标准化。一个 MAF 是通过横向贯穿所有 MPEG 标准，选择适合预期应用的现有部分和配置文件而创建的。理想情况下，MAF 规范由对 MPEG 标准内现有配置文件的引用组成。如果 MPEG 无法提供所需的技术，则可以通过引用包含来自其他组织的额外技术，以促进预期的 MAF 实现。

目前存在一组 MAFs，例如音乐播放器 MAF、照片播放器 MAF、开放访问 MAF、电子学习 MAF 等。

特定领域的元数据格式

多媒体内容在许多不同领域都是不可或缺的一部分，这些领域通常会提供自己的标准来满足特定领域或应用的需求。

在新闻领域，国际新闻电讯委员会 (IPTC) 开发了 G2 标准的新闻架构，其目标是为各种新闻信息的交换提供一个通用模型，为未来的 IPTC 新闻交换标准家族提供框架。这个家族包括 NewsML - G2、SportsML - G2、EventsML - G2、ProgramGuideML - G2 或未来的 WeatherML 等，它们都是基于 XML 的语言，用于描述新闻内容（传统元数据）以及新闻的管理、包装或与交换本身相关的信息（传输、路由）。

此外，不同的广播公司使用许多内部格式来组织其档案或交换关于节目和流媒体内容的信息，例如 TVAnytime 格式，它允许通过电子节目指南 (EPG) 向用户的数字视频录像机进行多媒体内容的受控交付。

在电子学习领域，开发了学习对象元数据 (LOM) 标准；在档案领域，定义了一组用于内容描述和保存的标准，如开放档案信息系统 (OAIS) 参考模型或元数据编码与传输标准 (METS)。

容器格式

MPEG - 21

MPEG - 21 旨在定义一个多媒体交付和消费框架，支持从事数字对象交易的各种业务，为用户提供透明且可互操作的丰富多媒体内容消费和交付体验。它基于之前的编码和元数据标准（MPEG - 1、 - 2、 - 4 和 - 7）构建，将它们链接在一起，为用户消费的多媒体内容提供一个可保护的通用包，用于收集、关联、引用和构建多媒体内容。

MPEG - 21 基于两个基本概念：“数字项”（分发和交易的基本单位）和“用户”与这些项的交互。该标准由 19 个部分组成，以下是一些关键部分：
1. 数字项声明 (DID) ：描述了一组抽象术语和概念，以形成定义数字项的有用模型。DID 模型定义了数字项、容器、片段或完整资源、断言、陈述和数字项的注释。
2. 数字项标识和描述 (DII) ：通过将统一资源标识符封装到标识 DS 中，处理完整或部分数字项的唯一标识，还可以通过注册机构实现数字项的标识。
3. 知识产权管理和保护 (IPMP) ：处理 MPEG - 21 内的知识产权管理和保护。
4. 权利表达语言 (REL) ：使用权利数据字典中定义的术语来声明权利和权限。一个 MPEG REL 授权包括：授予授权的主体、授权指定的权利、权利适用的资源以及行使权利之前必须满足的条件。
5. 权利数据字典 (RDD) ：包含一组唯一标识的术语，以支持 REL。RDD 旨在支持元数据从一个命名空间的术语到另一个命名空间的映射和转换。
6. 数字项适配 (DIA) ：根据用户、终端或网络特征对数字内容进行适配，以保持用户体验的质量。
7. 数字项处理 (DIP) ：由于 DID 只是声明性的，没有提供使用说明，因此 DIP 的目的是使 DID 变得活跃。DIP 通过提供工具让用户为 DID 添加功能，从而改善数字项的处理。DIP 使用数字项方法语言 (DIML) 指定所谓的数字项方法 (DIM)。

综上所述，多媒体内容的元数据标准和本体论是一个复杂而重要的领域，不同的元数据格式和标准适用于不同的应用场景和需求。了解这些标准和格式有助于更好地管理、描述和检索多媒体内容，推动多媒体技术的发展和应用。

多媒体内容元数据标准与本体论

其他容器格式

除了 MPEG - 21，还有一些其他的容器格式也在多媒体领域发挥着重要作用。虽然这里不详细展开（部分在其他相关场景有讨论），但它们同样值得关注。这些容器格式往往包含了多媒体特定的部分，为多媒体内容的组织和管理提供了便利。

不同元数据格式的对比

为了更清晰地了解各种元数据格式的特点和适用场景，下面对部分常见的元数据格式进行对比，如下表所示：
| 元数据格式 | 适用媒体类型 | 主要特点 | 应用场景 |
| ---- | ---- | ---- | ---- |
| EXIF | 静态图像 | 广泛应用，携带图像捕获和拍摄情况相关元数据 | Web 2.0 平台图像管理 |
| VRA Core | 文化遗产相关图像 | 用于文化遗产领域，区分作品记录和图像记录 | 文化遗产图像描述和管理 |
| NISO Z39.87 | 数字光栅图像 | 定义超 120 个元数据元素，促进图像应用开发和互操作性 | 大规模数字存储库、数字资产管理系统 |
| DIG35 | 数字图像 | 促进互操作性和可扩展性，支持详细内容建模 | 数字成像设备间元数据交互 |
| ID3 | 音频（MP3） | 可嵌入多种音乐曲目元数据，支持自定义属性 | MP3 音频文件管理 |
| MMD | 音乐 | 基于 XML，表达基本音乐元数据 | 音乐数据库访问和音乐相关应用 |
| MPEG - 7 | 视听内容 | 通用标准，独立于内容编码存储，提供描述工具 | 数字视听图书馆、电子新闻媒体、交互式 TV |
| AAF | 多媒体创作 | 跨平台，支持元数据和本质封装，基于时间线建模 | 多媒体创作工具间数据交换 |
| MXF - dms - 1 | 内容创作行业素材 | 可流式传输，与编码规范无关，有结构和描述性元数据 | 内容创作行业素材交换 |
| MPEG - A | 多媒体 | 组合 MPEG 标准技术成 MAF，支持快速标准化 | 多种多媒体应用场景 |
| MPEG - 21 | 多媒体交付消费 | 构建多媒体框架，基于数字项和用户交互概念 | 数字对象交易、多媒体内容消费 |

元数据格式的选择流程

在实际应用中，选择合适的元数据格式至关重要。以下是一个选择元数据格式的 mermaid 流程图，帮助我们理清选择的思路：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(确定需求):::process --> B{媒体类型}:::process
    B -->|静态图像| C{图像应用场景}:::process
    C -->|Web 平台管理| D(EXIF):::process
    C -->|文化遗产描述| E(VRA Core):::process
    C -->|大规模存储与管理| F(NISO Z39.87):::process
    C -->|设备间交互| G(DIG35):::process
    B -->|音频| H{音频应用场景}:::process
    H -->|MP3 文件管理| I(ID3):::process
    H -->|音乐数据库| J(MMD):::process
    B -->|视听内容| K{视听应用场景}:::process
    K -->|通用检索| L(MPEG - 7):::process
    K -->|创作交换| M(AAF):::process
    K -->|内容创作行业| N(MXF - dms - 1):::process
    K -->|多种应用| O(MPEG - A):::process
    B -->|多媒体交付消费| P(MPEG - 21):::process

未来发展趋势

随着多媒体技术的不断发展，元数据标准和本体论也将不断演进。未来可能会出现以下发展趋势：
1. 融合与互操作性增强 ：不同元数据格式之间的融合将更加深入，互操作性将进一步提高。例如，不同领域的元数据标准可能会相互借鉴和整合，以满足更复杂的应用需求。这将使得多媒体内容在不同系统和平台之间的交换和共享更加顺畅。
2. 智能化与自动化 ：借助人工智能和机器学习技术，元数据的生成和管理将更加智能化和自动化。系统可以自动识别多媒体内容的特征和语义信息，并生成相应的元数据，减少人工干预，提高效率和准确性。
3. 支持新兴媒体形式 ：随着新兴媒体形式（如虚拟现实、增强现实、360 度视频等）的不断涌现，元数据标准需要适应这些新的媒体形式，提供相应的描述和管理能力。例如，为虚拟现实内容定义专门的元数据，以描述其场景、交互方式等信息。
4. 隐私与安全保护 ：在多媒体内容传播和共享过程中，隐私和安全问题日益重要。未来的元数据标准将更加注重对用户隐私和内容安全的保护，例如，对敏感信息的加密处理、访问控制等。

总结

多媒体内容的元数据标准和本体论是多媒体技术领域的重要组成部分。通过对不同类型多媒体元数据格式的介绍，包括静态图像、音频、视听内容等的元数据标准，以及特定领域的元数据格式和容器格式，我们了解到每种格式都有其独特的特点和适用场景。在实际应用中，需要根据具体的需求和应用场景选择合适的元数据格式。同时，随着技术的发展，元数据标准和本体论也将不断发展和完善，为多媒体内容的管理、描述和检索提供更强大的支持，推动多媒体技术在各个领域的广泛应用和创新发展。

在未来的多媒体项目中，我们可以根据上述的知识和分析，更加科学合理地运用元数据标准，提升多媒体内容的质量和价值，为用户带来更好的体验。