2025_NIPS_Object-Centric Learning for Real-World Videos by Predicting Temporal Feature Similarities

文章总结与翻译

一、主要内容

该研究提出了一种名为VideoSAUR的无监督视频目标中心学习方法，旨在从无标签的真实世界视频中学习结构化的目标表示。核心思路是基于预训练的自监督特征，结合时序特征相似性损失与特征重建损失，解决现有方法难以扩展到无约束真实世界视频数据集的问题。

核心框架

1. 特征提取：使用预训练的自监督Vision Transformer（ViT）编码器（如DINO、MAE）提取视频帧的补丁特征，保留语义和空间信息。
2. 时序相似性损失：构建亲和矩阵捕捉当前帧与未来帧补丁特征的余弦相似度，通过预测补丁迁移概率分布，引入运动偏置，促进具有一致运动和语义的补丁分组为目标。
3. 高效解码器：采用SlotMixer解码器，克服传统解码器随槽位数量线性增长的计算开销，实现高效视频处理。
4. 联合损失训练：结合时序相似性损失与特征重建损失，在合成数据集（MOVi系列）和真实世界数据集（YouTube-VIS）上实现目标发现与分割。

实验结果

• 在MOVi-C、MOVi-E等合成数据集上，FG-ARI和mBO指标显著超越SAVi、STEVE等现有方法，达到当前最优。
• 首次在无约束的YouTube-VIS数据集上实现无监督视频目标中心学习，且能零迁移到YT-VIS 2019和DAVIS数据集。