MMAction2视频理解框架快速入门指南

MMAction2视频理解框架快速入门指南

mmaction2 OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark 项目地址: https://gitcode.com/gh_mirrors/mm/mmaction2

前言

MMAction2是一个基于PyTorch的开源视频理解工具库，专注于视频动作识别、时序动作检测等任务。本文将从技术实现角度，带您快速上手MMAction2的核心功能，包括模型推理、数据集准备、配置修改、训练测试全流程。

环境准备

在开始之前，请确保已完成MMAction2的源码安装。建议使用Python 3.7+和PyTorch 1.8+环境，并安装必要的依赖库。

快速体验模型推理

MMAction2提供了便捷的推理接口，我们可以使用预训练模型对视频进行动作识别：

python demo/demo_inferencer.py demo/demo.mp4 \
    --rec tsn --print-result \
    --label-file tools/data/kinetics/label_map_k400.txt

执行后，系统会：

1. 加载TSN模型（默认使用Kinetics-400预训练权重）
2. 对输入视频进行逐帧分析
3. 在控制台输出预测结果
4. 弹出窗口显示带预测结果的视频

典型输出示例：

{'predictions': [{'rec_labels': [[6]], 'rec_scores': [[...]]}]}

注意：在无GUI环境（如服务器）运行时，视频窗口可能不会显示。

数据集准备实战

为了演示完整流程，我们将使用精简版Kinetics数据集（仅含2个类别）进行训练。数据集准备步骤如下：

1. 下载数据集压缩包
2. 解压到项目data目录
3. 确保目录结构如下：

   data/
   └── kinetics400_tiny/
       ├── train/
       ├── val/
       ├── kinetics_tiny_train_video.txt
       └── kinetics_tiny_val_video.txt
   

MMAction2支持多种视频数据集格式，包括：

• 原始视频文件
• 帧序列
• 视频特征等

配置文件深度解析

MMAction2采用模块化配置系统，我们将基于TSN模型进行修改：

1. 数据集配置修改

修改以下关键路径指向我们的精简数据集：

data_root = 'data/kinetics400_tiny/train'
data_root_val = 'data/kinetics400_tiny/val'
ann_file_train = 'data/kinetics400_tiny/kinetics_tiny_train_video.txt'
ann_file_val = 'data/kinetics400_tiny/kinetics_tiny_val_video.txt'

2. 训练参数调整

针对小规模数据集优化训练设置：

train_dataloader['batch_size'] = 4  # 减小批大小
train_cfg = dict(max_epochs=10, val_interval=1)  # 缩短训练周期
param_scheduler = [
    dict(milestones=[4, 8], gamma=0.1)  # 调整学习率衰减策略
]

3. 模型配置适配

修改分类头以适应2分类任务：

model = dict(cls_head=dict(num_classes=2))
load_from = '预训练模型路径'  # 加载Kinetics-400预训练权重

数据可视化技巧

在正式训练前，建议先可视化数据预处理流程：

python tools/visualizations/browse_dataset.py \
    configs/recognition/tsn/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb.py \
    browse_out --mode pipeline

该工具会：

1. 展示数据增强效果
2. 验证标注准确性
3. 检查数据流是否正常

同时可可视化学习率调度曲线：

python tools/visualizations/vis_scheduler.py 配置文件路径

模型训练与验证

启动训练命令：

python tools/train.py 配置文件路径

训练过程中会输出如下关键指标：

• 损失值（loss）
• Top-1准确率
• Top-5准确率
• 学习率变化
• 显存占用等

典型训练日志示例：

Epoch [1][8/8] lr: 1.5625e-04 loss: 0.7267 top1_acc: 0.0000
Epoch [2][8/8] lr: 1.5625e-04 loss: 0.7130 top1_acc: 0.0000
Epoch [3][8/8] lr: 1.5625e-04 loss: 0.6900 top1_acc: 0.5000

模型测试与评估

训练完成后，使用最佳模型进行测试：

python tools/test.py 配置文件路径 模型权重路径

测试输出包含：

• Top-1准确率
• Top-5准确率
• 平均准确率等指标

完整流程走完后，您已经掌握了MMAction2的核心使用方法。后续可以尝试：

1. 更换更大规模的数据集
2. 尝试不同的模型架构
3. 调整训练策略
4. 开发自定义模块等

希望本指南能帮助您快速上手MMAction2视频理解框架！

mmaction2 OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark 项目地址: https://gitcode.com/gh_mirrors/mm/mmaction2