2024_ICLR_GENERALIZATION IN DIFFUSION MODELS ARISES FROM GEOMETRY-ADAPTIVE HARMONIC REPRESENTATIONS

文章总结与翻译

一、主要内容

该研究聚焦扩散模型的泛化能力与归纳偏置，核心围绕以下内容展开：

1. 泛化能力的关键发现：扩散模型在训练集较小时会记忆训练样本（过拟合），但当训练集规模足够大（如约10万张图像）时，在非重叠子集上训练的两个去噪网络会收敛到几乎相同的得分函数和数据密度，生成高质量且与训练集不同的图像，实现强泛化。
2. 归纳偏置的本质：深度神经网络（DNN）去噪器的归纳偏置源于几何自适应谐波基（GAHBs），其通过在适配图像特征几何结构的正交基中执行收缩操作实现去噪。该基在图像轮廓和均匀区域呈现振荡谐波结构，能高效捕捉图像分布特性。
3. 不同场景下的性能验证：
   • 对最优基已知为几何自适应谐波基的规则图像（如(C^\alpha)类图像），去噪器实现近最优性能；
   • 对低维流形支持的图像（最优基为流形切空间），去噪器虽能近似投影到切空间，但仍保留GAHB相关分量，导致次优性能；
   • 对像素打乱的图像（破坏局部性，最优基无谐波结构），去噪性能显著下降，印证GAHB归纳偏置的影响。
4. 理论支撑：建立去噪误差与密度建模误差的关联，通过雅可比矩阵特征分解分析去噪器的收缩操作，推导得分函数与去噪器的数学关系，为泛化能力和归纳偏置提供理论依据。

二、创新点

1. 泛化能力