[CVPR2022] Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition

nightluo

于 2022-11-26 20:52:46 发布

阅读量885

点赞数

分类专栏： # CVPR2022 文章标签：深度学习人工智能

本文链接：https://blog.youkuaiyun.com/weixin_45807767/article/details/128051599

版权

本文提出一种新的半监督动作识别方法，称为CMPL，即跨模型伪标记。它通过在主干网络上添加辅助网络，两者相互预测伪标签，利用时间动态和空间信息的互补性提高识别效果。这种方法不同于以往的伪标签框架，它考虑了人类行为的时间动态特性，通过两个模型的交叉学习，从互补特征中受益。实验表明，这种方法在正确伪标签的生成和分类性能上有所提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition

要点：

1、半监督动作识别，使用伪标记分配未标记数据，然后在训练中用作附加的监督
2、最近研究：伪标签通过在标记数据上训练模型获取，然后使用来自该模型的置信度预测值来自学
3、新的伪标记方案 —— CMPL，跨模型伪标记
（a）在主干网络的基础上，引入轻量级的辅助网络，相互预测伪标签
（b）由于结构偏差，两个模型倾向于从相同的视频剪辑中学习互补表示
（c）通过利用跨模型预测作为监督，每个模型都可以从对应模型中获益

相关工作：

图像分类的半监督学习：

先前工作：利用一致性正则化，要求模型对包括数据增强、对抗性扰动在内的扰动具有鲁棒性
最近工作：集中于伪标记框架，根据模型预测为伪标记图像分配标签
	（a）利用模型参数的指数移动平均产生伪标签
	（b）利用模型参数的历史预测产生伪标签
	（c）FixMatch：通过要求来自强增强数据的预测反映来自弱增强数据的预测，结合了一致性和正则化伪标记
但是，这些方法都没有明确考虑人类行为的时间动态特征
本文方法：通过一个独立的互补网络来更有效地表示特征

最低0.47元/天解锁文章