ICCV 2025｜高德USP：图像生成与理解的统一自监督预训练

ICCV(International Conference on Computer Vision)是计算机视觉领域的国际顶级学术会议，也是中国计算机学会(CCF)推荐的A类国际学术会议，今年计划于10月19日至10月25日在美国夏威夷召开。本届ICCV会议共有11,239篇有效投稿，录用2698篇，录取率为 24%。高德技术团队共5篇论文被收录。

• 论文标题｜USP: Unified Self-Supervised Pretraining for Image Generation and Understanding

• 论文链接｜https://arxiv.org/pdf/2503.06132

• 开源地址｜https://github.com/AMAP-ML/USP
  

    本文提出了统一自监督预训练（USP, Unified Self-Supervised Pretraining），该方法通过在变分自编码器（VAE）的潜在空间中进行潜在掩码建模（Masked Latent Modeling）预训练，预训练后的ViT 编码器等权重可以无缝迁移到下游任务，包括图像分类、语义分割以及基于扩散模型的图像生成。USP在理解任务中表现优异，在生成任务中显著加速DiT和SiT模型的收敛，分别比从头训练快11.7倍（DiT-XL）和46.6倍（SiT-XL）。

（图1：USP整体架构）

• 统一预训练框架：本文提出 USP，一种将图像理解与基于扩散模型的图像生成有效结合的统一预训练框架。经过预训练后，所学表示可通过权重初始化无缝迁移至下游任务。