CVPR2022 | 上科大x小红书首次提出动作序列验证任务，可应用于体育赛事打分等多场景

在CVPR2022上，上海科技大学和小红书多模态算法团队共同提出了一项新颖的动作序列验证任务，旨在验证两个视频中呈现的动作序列是否一致。区别于传统的关注单个动作的视频任务，我们认为一项复杂任务是需要多个动作构成的步骤序列来完成的，且这些步骤之间遵循一定的内在联系且互相影响。

这种任务可以应用于娱乐或者体育领域的自动打分。例如在跳水比赛中，可以根据与标准视频的对比检测，对选手动作进行打分。对于小红书这样一个笔记模态多元化的业务场景而言，该方法对视频内容、动作流程的理解将有助于平台更精准地为用户推荐相关笔记。

得益于近年来各个视频平台的火爆与拍摄器材的普及，视频数据大量涌现，也为视频理解的研究提供了重要的数据基础。我们发现，多数视频中记录的日常活动都是通过一系列步骤而非单个动作来完成的。针对这类视频，我们提出了动作序列验证任务，旨在区分执行相同动作序列的正视频对与具有子动作级别差异但仍执行相同任务的负视频对，如下图所示。   

这样一项具有挑战性的任务能够应对开集问题，且不需要事件级甚至帧级注释监督的动作检测或分割来提供先验知识。该任务可应用于体育、娱乐领域的自动打分，或工业生产场景中的标准流程检测等。