shimingwang的博客

在上一篇中我们在自建数据集上训练了TSN，在验证集上准确率是0.83。然后我们通过推理发现推理结果倾向于负样本，怀疑可能是因为正样本：负样本=1:2导致的。于是这一篇我们首先删除一半的负样本，使得正样本：负样本=1:1，看看训练结果，结果就是在epoch=18的是top1准确率达到了最佳的0.8571，但是运行测试脚本却只有0.8214。

动作识别5——mmaction2的训练和测试》里面说了官方文档介绍的使用kinetics400_tiny数据进行训练的demo。那我们就模仿kinetics400_tiny搞个数据集，然后训练TSN试试。这一篇的内容主要是写如何构建一个标注的工具。

上一篇我们看了一下TSM，那是一个比较轻量的算法。但是如果不考虑轻量，而考虑精度的话，可以看下VideoMAE V2。首先我测试了一下VideoMAE V2，发现它确实识别的比较准。然后我发现mmaction2并不支持训练VideoMAE V2，但是在Github上找到了它的官方仓库，并且其提供了微调训练的代码，但是微调训练要求单卡显存16G以上（12G也是极限），目前暂时没有这个条件，先放一放。随后看了几眼在第四节VideoMAE V2的论文。

今天我们来看一下一个叫TSM的算法（这个算法可能比较轻量，实时性可能比较好，工具链支持可能比较成熟）。mmaction2列出的行为识别算法里面，目前来说，直觉上，TSM和VideoMAE这两个可能是需要重点看一下。作用：是的，主要为了保留当前帧的原始空间信息，同时促进训练稳定和信息流动。简单相加是残差网络的核心。这正是残差连接 (Residual Connection)的核心思想，由著名的ResNet引入。“直接传递原图”的路径被称为恒等映射。它的作用是确保当前帧的原始、未被修改的空间特征。

在这一篇中我们根据mmaction2的官方文档跑一下“快速运行”中提到的训练和测试过程。他给出的例子是基于这个tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb_20220906-cd10898e.pth预训练模型，使用他给出的kinetics400_tiny数据集进行训练。到这里，我们了解了怎么训练和测试。接下来我们可能要把关注点放在：动作识别4中跳过的“实时摄像头demo”

这一篇，我会跑一下mmaction2的demo，我会选择性的跑，有些实时摄像头、基于音频的动作识别啥的这种暂时就不会去跑。因为官方文档给出的命令都是linux终端+可联网情况下的，而我是windows的cmd终端+不可联网下的，所以命令我会给两份，另一份是方便我自己复制的。如果你有git的linux终端且能联网确实方便很多。在动作识别3中提到mmaction2可能里面某个文件集成了mmdet检测、mmpose姿态轨迹、mmaction2动作识别，其实后来发现demo基本都有，见4.4。

今天我们来看看怎么使用mmaction2的模型推理来实现视频动作识别，以及对于基于骨骼点的行为识别模型，我们需要知道怎么使用mmpose得到姿态估计的关键点，然后以什么样的格式给到mmaction2进行动作识别。

在动作识别1中我在最后提到有些问题，即我在test1.mp4里面发现算法是没问题的，但是换了test2.mp4就出现问题了。我先捋一捋动作识别1中是如何识别脚踢动作的，然后我再分析为什么test2.mp4出现了问题。 一开始假设腿是站直的，那就是空闲状态（STATE_IDLE）。 设他的右腿的髋关节、膝关节、踝关节三个点分别是A、B、C，计算BA和BC的夹角angle_s。 假设他侧面站着，脸朝着右边且右脚站直的情况下，angle_s在174到177度左右，假设他现在

我会保留探索的过程，调试的方法是每一句后面都加上print语句，然后输出到日志里面。