2025_NIPS_Leveraging Early-Stage Robustness in Diffusion Models for Efficient and High-Quality Im...

一、文章主要内容总结

该研究聚焦扩散模型图像生成中“迭代去噪过程计算密集、采样速度慢”的核心痛点，通过分析反向扩散过程的阶段特性，提出了一种基于“早期鲁棒性”的量化策略（Robustness-Aware Quantization, RAQ），以在不损失图像质量的前提下提升计算效率。

1. 核心发现：反向扩散过程的不同阶段对计算精度需求存在显著差异

   • 早期阶段（接近1.0T）：主要勾勒图像轮廓，对计算误差（如噪声、量化误差）容忍度高（鲁棒性强），即使采用低精度计算，也不会显著影响最终生成质量；
   • 后期阶段（接近0.0T）：负责细化图像细节，对计算精度敏感，需维持高精度计算以保证图像质量。

2. 技术方案：结合训练后量化（PTQ）与阶段自适应量化策略

   • 权重量化：采用4位量化（已有研究验证其对扩散模型影响较小）；
   • 激活量化：基于反向扩散阶段动态调整位宽——早期阶段使用低比特（4-5位）激活，后期阶段逐步提升至8位，通过FID阈值控制确保质量不下降；
   • 量化优化流程：从最后一步反向迭代优化各阶段激活位宽，通过少量图像采样（5000张）验证FID，若超出阈值则提升对应阶段激活位宽。

3. 实验验证

   • 无条件图像生成（LSUN-Bedrooms/Churches）：RAQ在有效激活位宽6位时，FID与8位激活的Q-Diffus