2025_NIPS_VaporTok: RL-Driven Adaptive Video Tokenizer with Prior & Task Awareness

文章核心总结与翻译

一、主要内容

本文针对自回归（AR）视觉生成模型中视觉tokenizer的固定下采样率、token数量恒定、训练与下游任务脱节等问题，提出了一种自适应视频tokenizer——VaporTok。该模型通过两阶段训练实现高效自适应tokenization：

1. 第一阶段：基于视觉复杂度的概率性尾截断（Probabilistic Taildrop），构建受视频时空复杂度引导的截断索引采样分布，为复杂视频分配更多token，简单视频分配更少token，同时保证token序列的语义-细节层级结构。
2. 第二阶段：提出并行采样GRPO（Parallel Sample GRPO）框架，将视频tokenization建模为序贯决策过程，结合多信号的Vapor Reward（包含效率、多样性、重建质量、生成质量四个维度），实现任务感知的自适应优化。

实验在Kinetics-600和UCF-101数据集上验证，VaporTok在使用更少token（平均361个，仅为传统模型的30%-50%）的情况下，重建质量（rFVD）和生成质量（gFVD）匹配或超越固定速率基线模型，同时缓解了AR模型的二次计算复杂度和误差累积问题。

二、创新点