2025_NIPS_Pixel-Perfect Depth with Semantics-Prompted Diffusion Transformers

文章核心总结与翻译

一、主要内容

本文提出了一种名为Pixel-Perfect Depth的单目深度估计模型，核心目标是解决现有模型在点云转换中存在的“飞点”（flying pixels）问题，生成高质量、无飞点的深度图。该模型采用像素空间扩散生成范式，避免了传统生成模型依赖变分自编码器（VAE）进行潜空间压缩导致的边缘细节丢失。为解决像素空间生成的高复杂度和全局语义一致性难题，模型引入了语义提示扩散Transformer（SP-DiT）和级联DiT设计（Cas-DiT），并在五个公开基准数据集上取得了现有生成模型中的最佳性能，尤其在边缘感知点云评估中显著优于其他模型。

二、创新点

1. 像素空间扩散生成：摒弃传统生成模型的VAE潜空间压缩步骤，直接在像素空间进行扩散生成，从根源上避免VAE导致的边缘模糊和飞点问题。
2. 语义提示扩散Transformer（SP-DiT）：将视觉基础模型提取的高层语义表示融入DiT架构，通过L2归一化和双线性插值实现语义与模型内部表示的对齐，同时保障全局语义一致性和细粒度视觉细节。
3. 级联DiT设计（Cas-DiT）：采用“粗到细”的渐进式patch策略，早期块使用大patch尺寸建模全局