2025_NIPS_Patch n’ Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution

文章总结与翻译

一、主要内容

该研究提出了一种名为NaViT（Native Resolution ViT）的视觉Transformer模型，核心是通过“Patch n’ Pack”技术突破传统计算机视觉模型依赖固定分辨率和宽高比的局限。

核心背景

传统视觉模型（包括常规ViT）需将图像调整为固定正方形分辨率后处理，这会扭曲宽高比或造成信息损失，且多数真实数据集（如ImageNet、LVIS）中非正方形图像占比极高（57.3%-92.2%）。NaViT借鉴自然语言处理中的“示例打包”思想，将不同图像的patch打包成单个序列，实现任意分辨率和宽高比的输入处理。

关键技术

1. 架构修改：引入掩码自注意力与掩码池化（防止不同图像的token相互干扰）、因式分解位置编码（分解x/y坐标嵌入，支持任意分辨率外推）；
2. 训练优化：可变分辨率采样（混合不同尺寸图像，平衡吞吐量与细节捕捉）、连续token丢弃（按图像动态调整丢弃比例，减少训练推理差异）、固定序列长度打包（填充token占比低于2%，保证硬件效率）；
3. 效率提升：通过打包技术在相同计算预算下处理更多训练样本（NaViT-L/16训练图像数量是ViT的5倍），注意力计算开销随模型维度扩大而降低。

实验结果

• 在JFT-4B监督预训练和WebLI对比学习预训