【slowfast 训练自己的数据集】自定义动作，制作自己的数据集，使用预训练模型进行训练，并检测其结果

目录

• 前言
• 一，视频的处理
• • 1.1 视频准备
  • 1.2 切割视频为图片
  • 1.3 使用faster rcnn自动框人
  • 1.4 via标注图片
• 二，数据集文件
• • 2.1 数据集文件总览
  • 2.2 annotations
  • • 2.2.1 ava_train_v2.2.csv
    • 2.2.2 ava_val_v2.2.csv
    • 2.2.3 ava_val_excluded_timestamps_v2.2.csv
    • 2.2.4 ava_action_list_v2.2_for_activitynet_2019.pbtxt
    • 2.2.5 ava_detection_train_boxes_and_labels_include_negative_v2.2.csv
    • 2.2.6 ava_detection_val_boxes_and_labels.csv
  • 2.3 frame_lists
  • • 2.3.1 train.csv
    • 2.3.2 val.csv
  • 2.4 frames
• 三，slowfast 训练自己的数据集
• • 3.1 预训练模型
  • 3.2 配置文件
  • 3.3 训练过程
• 四 检测模型效果
• • 4.2 创建json文件
  • 4.2 创建yaml文件
  • 4.3 修改ava_helper.py
  • 4.4 运行

前言

终于到了这一步了，看了很久很久的slowfast，这次终于用slowfast训练了自己的数据集（只是用了个非常小的，非常小的数据集跑了一下），并且格式修改过程是手动修改的，训练过程所需要的yaml文件也是手动写出来的（后面会改成程序自动修改）

在看这篇训练自己的数据集博客之前，我觉得有必要了解一下之前我写一些博客：
的slowfast的训练，slowfast的减少数据集

1, 【SlowFast复现】SlowFast Networks for Video Recognition复现代码 使用自己的视频进行demo检测: https://blog.youkuaiyun.com/sinat_28371057/article/details/119429163

2:【Faster RCNN & detectron2】detectron2实现Faster RCNN目标检测:【Faster RCNN & detectron2】detectron2实现Faster RCNN目标检测_青年夏日科技的博客-优快云博客

3，【faster rcnn 实现via的自动框人】使用detectron2中faster rcnn 算法生成人的坐标，将坐标导入via(VGG Image Annotator)中，实现自动框选出人的区域:【faster rcnn 实现via的自动框人】使用detectron2中faster rcnn 算法生成人的坐标，将坐标导入via(VGG Image Annotator)中，实现自动框选出人的区域_青年夏日科技的博客-优快云博客

4，【ffmpeg裁剪视频faster rcnn自动检测 via】全自动实现ffmpeg将视频切割为图片帧，再使用faster rcnn将图片中的人检测出来，最后将检测结果转化为via可识别的csv格式:【ffmpeg裁剪视频faster rcnn自动检测 via】全自动实现ffmpeg将视频切割为图片帧，再使用faster rcnn将图片中的人检测出来，最后将检测结果转化为via可识别的csv格式_青年夏日科技的博客-优快云博客

5，【slowfast复现 训练】训练过程 制作ava数据集 复现 SlowFast Networks for Video Recognition 训练 train:【slowfast复现 训练】训练过程 制作ava数据集 复现 SlowFast Networks for Video Recognition 训练 train_青年夏日科技的博客-优快云博客_ava数据集制作

6，【slowfast 减少ava数据集】将ava数据集缩小到2个，对数据集做训练，然后进行检测，为训练自己的数据集做准备:【slowfast 减少ava数据集】将ava数据集缩小到2个，对数据集做训练，然后进行检测，为训练自己的数据集做准备_青年夏日科技的博客-优快云博客_ava数据集制作

一，视频的处理

这里使用的数据集就是自己定义的数据集了，大家做什么领域的就用什么视频，比如有人要做手势识别的，就用手势的。有人要做人摔倒的，那就找人摔倒的视频。

我这里就用一个简单的视频，人在说话的视频。视频不多，就2个3秒的视频（这里是我用来做例子的，如果真实情况，2个视频3秒视频是远远不够的）。

1.1 视频准备

准备2个3秒的视频，最好里面人少一点，减少标注的难度。下图是我选择的几个3秒的视频（为