Unsupervised Video Interpolation 项目教程

Unsupervised Video Interpolation 项目教程

unsupervised-video-interpolation 项目地址: https://gitcode.com/gh_mirrors/un/unsupervised-video-interpolation

1. 项目介绍

本项目是基于周期一致性（Cycle Consistency）的无监督视频插帧技术。该技术由NVIDIA公司开发，能够在不依赖任何标签数据的情况下，通过学习视频帧之间的运动信息来实现视频帧率的提升。项目的核心是一个深度学习模型，该模型可以在没有配对真实帧的情况下，生成中间帧，从而提高视频的帧率。

2. 项目快速启动

环境准备

• NVIDIA GPU 和 CUDA 9.0 或更高版本（某些操作只有GPU实现）
• PyTorch (>= 1.0)
• Python 3
• numpy
• scikit-image
• imageio
• pillow
• tqdm
• tensorboardX
• natsort
• ffmpeg

克隆项目

git clone https://github.com/NVIDIA/unsupervised-video-interpolation.git
cd unsupervised-video-interpolation
mkdir pretrained_models

构建Docker镜像（可选）

docker build -t unsupervised-video-interpolation -f Dockerfile .

如果不使用Docker，可以手动安装上述环境依赖。

训练模型

python3 train.py --help

查看训练参数，然后根据需要启动训练。

3. 应用案例和最佳实践

生成插帧视频

以下命令将生成插帧视频，并将低帧率的输入帧与一个或多个插帧交织。

python3 eval.py --model CycleHJSuperSloMo --num_interp 7 --flow_scale 2 --val_file ${/path/to/input/sequences} \
--name ${video_name} --save ${/path/to/output/folder} --post_fix ${output_image_tag} \
--resume ${/path/to/pre-trained/model} --write_video

如果输入序列中没有地面真实中间帧，需要添加--val_sample_rate 0和--val_step_size 1。

模型评估

以下命令用于评估模型在UCF101数据集上的性能。

python3 eval.py --model CycleHJSuperSloMo --num_interp 1 --flow_scale 1 --val_file /path/to/ucf/root \
--resume ./pretrained_models/fully_unsupervised_adobe30fps.pth

结果比较

模型训练和评估的结果可以与地面真实数据比较，以评估模型的性能。

4. 典型生态项目

目前，该项目支持Super SloMo架构。其他视频插帧架构，如DVF或SepConv，可以通过最小的改动集成到项目中。此外，该项目还包括了一些预训练模型，可以用于不同的数据集和评估任务。通过这些预训练模型，开发人员可以快速开始自己的视频插帧任务。

unsupervised-video-interpolation 项目地址: https://gitcode.com/gh_mirrors/un/unsupervised-video-interpolation