开源项目使用教程：FAST-VQA和FasterVQA

开源项目使用教程：FAST-VQA和FasterVQA

1. 项目介绍

FAST-VQA（Efficient End-to-end Video Quality Assessment with Fragment Sampling）是一种端到端的视频质量评估工具箱，它通过片段采样技术对视频质量进行有效评估。FasterVQA是FAST-VQA的扩展版本，通过引入3D片段采样，提高了评估的效率和准确性。这两个项目旨在为视频质量评估提供一种高效、可扩展的解决方案。

2. 项目快速启动

环境准备

确保您的环境中安装了Python 3.8.8、PyTorch 1.10.2和TorchVision 0.11.3。项目还依赖于decord模块来读取原始视频文件。

pip install -r requirements.txt

克隆项目

克隆项目仓库到本地：

git clone https://github.com/VQAssessment/FAST-VQA-and-FasterVQA.git
cd FAST-VQA-and-FasterVQA

安装项目

使用pip安装项目及其依赖：

pip install -e .

运行示例

运行以下命令来对单个MP4视频进行质量评估：

python vqa.py -m [MODEL_TYPE] -v [YOUR_INPUT_FILE_PATH]

其中MODEL_TYPE可以是FasterVQA、FAST-VQA或者它们的变体，如FasterVQA-MS、FasterVQA-MT、FAST-VQA-M。

3. 应用案例和最佳实践

数据预处理

查看Data Processing部分了解数据预处理的源代码，特别是FusionDataset类和get_spatial_and_temporal_samples函数，这些是核心转换方法。

空间采样

支持以下空间采样方法：片段（fragments）、调整大小（resize）、等比例调整大小（arp_resize）、裁剪（crop）。还支持这些采样方法的组合，以提供更多的灵活性。

时域采样

支持不同的时域采样方法，包括连续帧采样（SampleFrames）和新引入的片段式非连续帧采样（FragmentSampleFrames）。

网络结构

项目提供了多种网络结构选择，包括视频Swin Transformer（带GRPB）、视频Swin Transformer（原生）、ConvNext-I3D（原生）等。

网络头

IP-NLR Head可以生成视频的局部质量图。

4. 典型生态项目

本项目是视频质量评估领域的典型生态项目，它提供了丰富的功能和模块化设计，使得开发者可以轻松地在自己的项目中集成和使用。此外，项目还支持在多种数据集上进行预训练和微调，以适应不同的应用场景。通过开放的社区和文档，该项目不断发展和完善，为视频质量评估领域的研究和开发提供了有力的工具。