42、视频流跨模态编码技术解析

视频流跨模态编码技术解析

1. 跨模态编码概述

在视频编码领域，为了更好地管理各种编码器，我们选择研究用户在玩不同游戏时的行为，特别是他们的视觉注意力集中在哪里。通过邀请多名玩家参与多款游戏的密集测试，我们生成了注意力地图，这些地图随后将被算法用于精细管理编码器。

1.1 跨模态定义

我们引入了一种使用所谓“模态”对视频流进行编码的新方法。模态是针对特定编码器要压缩的一组区域。每个模态对应帧中的特定部分，并且有特别适合压缩图片中相应区域的编码器。根据实验，我们得出结论：使用多个编码器比仅使用一个编码器能实现更好的压缩率，同时在峰值信噪比（PSNR）方面保持相同的质量。

传统的编码方法将视频视为一组像素，并对整个图片使用单一的编码方案。而我们的方法基于这样的假设：对视频帧进行动态分区，并使用参数化表示来近似某些区域，将降低视频比特率。将视频流分割成对象并分别进行编码是 MPEG - 4 第 2 部分的基础，但该标准并未涵盖在视频流上执行此操作的具体方式。

跨模态被定义为使用多个特定编码器来压缩同一视频文件。其目的是为每个区域使用合适的编码器，并使用不同的模态进行视频编码。换句话说，模态被定义为通过编码器对一组区域进行压缩。我们将类定义为一组区域，每个类使用一个特定的编码器进行编码。是否使用一个或多个模态并非事先确定，而是取决于要处理的视频本身。在多模态编码过程中，实时决定使用 1、2 或 n 个模态，这意味着每帧的形状和区域大小可能不同。

1.2 跨模态器与转码器

转码器是一种软件或硬件元素，旨在修改视频文件或流的压缩方式。它首先对视频文件或流进行解码，然后使用新参数重新编码。这使应用程序能够修