重复动作计数CountLLM: Towards Generalizable Repetitive Action Counting via Large Language Model

论文作者：Ziyu Yao,Xuxin Cheng,Zhiqi Huang,Lei Li

作者单位：Peking University;University of Washingtong ;University of Copenhagen

论文链接：http://arxiv.org/abs/2503.17690v1

内容简介：

1）方向：重复动作计数

2）应用：视频分析

3）背景：现有的重复动作计数方法主要依赖回归网络，这些方法的表示能力有限，无法准确捕捉变动的周期性模式。此外，现有方法依赖于狭窄且有限的训练集进行监督学习，容易导致过拟合，且难以在不同场景下进行泛化。

4）方法：为了应对这些挑战，提出了CountLLM，这是第一个基于大语言模型（LLM）的框架，能够将视频数据和周期性文本提示作为输入，输出期望的计数值。CountLLM利用显式文本指令中的丰富线索和预训练LLM的强大表示能力进行重复动作计数。为了有效指导CountLLM，研究者开发了一个基于周期性的结构化模板，描述了周期性的属性并实现了标准化答案格式，以确保一致性。此外，提出了渐进式多模态训练范式，以增强LLM对周期性的意识。

5）结果：在广泛认可的基准数据集上的实证评估表明，CountLLM在性能和泛化能力上表现优异，特别是在处理与训练数据显著偏离的新型和领域外动作时，展示了良好的适应性，提供了一条有前景的重复动作计数研究途径。