[Diffusion Model 笔记]Score-based 方法在图像修复中的创新应用

关注

原创最新推荐文章于 2026-08-20 13:08:34 发布 908 阅读 AI 写同款· GEO 优化 ›

[Diffusion Model 笔记]Score-based 方法在图像修复中的实践与优化本文深入探讨了Score-based方法在图像修复中的原理与实践。该方法通过学习数据分布的梯度（分数），将复杂的修复任务转化为沿概率梯度场的“导航”过程。核心在于利用噪声扰动估计分数，并通过朗之万动力学采样结合“替换采样”策略，在约束已知区域的同时，引导缺失部分生成符合整体分布的内容。文章还分享了噪声调度、采样策略等优化技巧与实战心得。阅读详情

1. 从“猜图游戏”到“噪声导航”：Score-based方法如何革新图像修复

想象一下，你有一张老照片，中间被撕掉了一块，或者被水渍弄脏了一片。传统的图像修复方法，有点像让一个画家坐在那里，根据照片周围的内容，去“猜”缺失的部分应该画什么。画家（也就是算法）的想象力，很大程度上取决于他学过的绘画风格和见过的图片库。如果缺失的部分恰好是某种他没画过的东西，比如一个造型奇特的古董花瓶，那修复出来的结果可能就会显得很假，或者直接“摆烂”画成一团模糊的色块。

这就是传统生成模型，比如GAN（生成对抗网络）在图像修复中常遇到的困境：它们太依赖“想象力”了，而这个想象力又受限于训练数据。一旦遇到训练集中没见过的模式，就容易“卡壳”。另一种思路，像早期的扩散模型（DDPM），则是通过一个非常漫长的“去噪”过程，一点点把纯噪声“雕刻”成一张完整的图片。当应用到修复时，它需要小心翼翼地保护已知区域不被破坏，同时又要让未知区域生成合理的内容，这个过程就像在瓷器上修补裂缝，力度和方向稍有偏差，就可能把整个瓷器弄碎。

而Score-based方法，给我感觉更像是一个“智能导航”系统。它不直接去“画”出缺失的部分，而是去学习整个图像世界的“地形图”。这个地形图，在数学上被称为数据分布的Score（分数），也就是概率密度函数的梯度。简单来说，它告诉我们：在图像的任何一个“位置”（可以理解为某一种像素排列状态），朝着哪个方向“走”，能到达更“像”真实图片的区域。

那么，怎么把这个“导航”系统用在图像修复上呢？思路非常巧妙。我们把一张待修复的图片看作是一个“半成品坐标点”：已知区域是固定不能动的锚点，而缺失区域（Mask区域）则是一个初始位置可能很离谱的“可移动点”。Score-based模型的任务，就是根据已知区域的锚点，不断地给这个“可移动点”提供导航指令：“嘿，往这边走一点，这样你整体看起来会更像一张正常的照片！”通过多次迭代调整，缺失部分就会被“导航”到一个与已知区域完美契合、且本身也符合自然图像规律的位置上。

我第一次尝试用这种方法做修复时，最直观的感受就是“稳”。它不像GAN那样可能突然“天马行空”生成一些奇怪的东西，也不像原始扩散模型那样对采样步长极其敏感。因为它每一步的移动，都严格遵循着从海量数据中学到的“地形梯度”，所以生成的内容在结构和纹理上都非常合理。接下来，我们就深入这个“导航系统”的内部，看看它的核心部件是怎么工作的。

2. 核心原理拆解：噪声、梯度与朗之万动力学

要理解Score-based方法，我们必须先搞清楚三个关键概念：Score是什么、如何估计Score、以及如何利用Score进行采样（即导航）。这部分可能有点数学，但我会尽量用比喻说清楚，你完全不用担心。

2.1 Score：数据空间的“指南针”

首先，什么是Score？定义很简单：对于一个概率分布 ( p(x) )（比如所有自然图片的分布），其Score就是对数概率的梯度，即 ( \nabla_x \log p(x) )。

这到底是什么意思？让我们打个比方。假设 ( p(x) ) 描述的是“所有好看的照片”这个集合的概率密度。一张构图完美、光线柔和的风景照，它的概率密度 ( p(x) ) 就很高；而一张全是随机雪花噪声的图片，它的概率密度就几乎为零。现在，我们有一张不太好看的、偏暗的照片 ( x )。( \nabla_x \log p(x) ) 这个梯度向量，就指示了从当前这张偏暗的照片 ( x ) 出发，向哪个方向、以何种程度修改像素值，能让这张照片变得更“好看”（即朝着更高概率密度的区域移动）。

所以，Score本质上是一个“改良指南针”。它不告诉你最终的好照片长什么样，但它告诉你，从你当前的位置出发，下一步该往哪里改进。在图像修复的语境下，已知区域是固定的“好”区域，我们的“指南针”会主要根据已知区域提供的上下文，来指导缺失区域的像素值，朝着与已知区域协调一致、且自身也合理的方向变化。

2.2 估计Score：巧借噪声之力

理论上很美，但现实中我们根本不知道真实数据分布 ( p(x) ) 的数学形式，自然也就无法直接计算它的梯度。这就是Score-based方法最聪明的一步：通过估计噪声来间接估计Score。

这源于扩散模型的一个经典公式。我们知道，在DDPM中，一张图片 ( x_0 ) 经过 ( t ) 步加噪后，会变成 ( x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon )，其中 ( \epsilon ) 是标准高斯噪声。可以推导出，在已知 ( x_t ) 的情况下，数据分布的Score（对数梯度）与所加的噪声 ( \epsilon ) 存在一个非常简洁的关系：

[ \nabla_{x_t} \log p(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}} ]

这个公式是连接噪声与梯度的桥梁。它告诉我们：如果我们能训练一个神经网络 ( \epsilon_\theta(x_t, t) ) 来准确预测出添加到图片 ( x_0 ) 中的噪声 ( \epsilon )，那么我们就同时得到了在当前噪声水平 ( t ) 下，数据分布的Score（只需乘上一个系数）！

所以，Score-based模型的训练目标变得极其简单和稳定：用一个简单的均方误差（MSE）损失，让网络学会预测噪声。

# 简化的训练损失函数伪代码
def train_loss(model, x0, t, noise):
    # 1. 根据时间表t，计算加噪后的xt
    xt = sqrt(alpha_bar[t]) * x0 + sqrt(1 - alpha_bar[t]) * noise
    # 2. 让模型预测噪声
    predicted_noise = model(xt, t)
    # 3. 最小化预测噪声和真实噪声的差距
    loss = mse_loss(predicted_noise, noise)
    return loss

这个训练过程没有GAN中生成器和判别器的博弈，只有一个明确的目标，因此训练起来非常稳定。我实测过，相比GAN，Score-based模型更容易收敛，且不容易出现模式崩溃（即只生成少数几种图片）的问题。

2.3 朗之万动力学采样：沿着梯度“漫步”

有了Score（梯度）估计器，我们如何从噪声开始“导航”出一张图片，或者修复一张图片呢？这就要用到朗之万动力学（Langevin Dynamics）。它的更新公式看起来也不复杂：

[ x_{i+1} = x_i + \gamma \cdot \nabla_x \log p(x_i) + \sqrt{2\gamma} \cdot z_i ]

其中，( \gamma ) 是步长，( z_i ) 是额外注入的一个小随机噪声。

这个过程可以这样理解：

梯度上升：( \gamma \cdot \nabla_x \log p(x_i) ) 这一项是主体。它推动当前样本 ( x_i ) 沿着概率密度增加的方向（即“变得更好看”的方向）走一小步。
随机扰动：( \sqrt{2\gamma} \cdot z_i ) 这一项是关键。它引入了一个随机噪声，防止采样过程陷入最近的局部最优解（比如只生成一种风格的图片），鼓励探索更广阔的空间，从而能生成多样化的结果。

在图像修复中，这个采样过程需要稍作修改。我们不是从纯噪声开始，而是从一张“破损”的图片开始：已知区域保持原样（或加上对应时间步的噪声），缺失区域则用噪声初始化。在每一次朗之万动力学迭代中，我们计算整个图片（包括已知和缺失部分）的Score，但只更新缺失区域的像素值。已知区域在每一步都会被“拉回”到其真实值（或带噪版本），从而为缺失区域的更新提供持续、强力的上下文引导。

这就好比雕塑家修复雕像：他一只手拿着参考模型（已知区域），另一只手拿着刻刀（Score梯度），每次只雕刻缺失的部分，并且每刻一刀都要抬头看看参考模型，确保新刻的部分和整体是协调的。

3. 实战：Score-based Inpainting 操作详解与调参心得

理论懂了，手痒想试试了吧？这部分我就结合自己踩过的坑，给你讲讲怎么具体实现一个Score-based的图像修复流程，以及那些影响效果的关键参数该怎么调。

3.1 基本流程与代码框架

一个典型的Score-based修复流程可以分为以下几步：

准备阶段：加载训练好的Score模型（噪声预测模型），定义好噪声调度（Noise Schedule，即不同时间步t对应的 ( \bar{\alpha}_t ) ），设置总采样步数（N）和步长（γ）。
初始化：对于待修复图片 x_gt 和掩码 mask（1表示缺失，0表示已知）。
- 已知区域：用真实图片加上对应初始时间步 t_start 的噪声进行初始化。x_known = sqrt(alpha_bar[t_start]) * x_gt + sqrt(1-alpha_bar[t_start]) * noise
- 缺失区域：直接用随机高斯噪声初始化。x_masked = random_noise
- 合并：x_current = x_known * (1-mask) + x_masked * mask

迭代采样（修复）循环：

for i in range(N):
    # 当前时间步（从大到小变化）
    t = schedule(t_start, i, N)
    
    # 1. 为已知区域准备“锚点”
    # 在每一步，我们都用带噪的真实值来“锚定”已知区域
    noise_known = sqrt(alpha_bar[t]) * x_gt + sqrt(1-alpha_bar[t]) * random_noise()
    x_anchor = noise_known * (1-mask)
    
    # 2. 计算当前全图的Score（梯度方向）
    # 模型预测噪声，进而得到Score
    predicted_noise = model(x_current, t)
    score = - predicted_noise / sqrt(1 - alpha_bar[t])
    
    # 3. 朗之万动力学更新（但只更新缺失区域）
    # 计算更新量
    update = step_size * score + sqrt(2*step_size) * random_noise()
    # 只应用于缺失区域
    x_current = x_current + update * mask
    
    # 4. 将已知区域“拉回”到锚点
    x_current = x_anchor + x_current * mask

后处理：循环结束后，x_current 就是修复后的图片。通常还需要简单的裁剪（将像素值约束到[0,1]）等操作。

3.2 关键参数调优：让你的修复效果更上一层楼

直接套用上面的流程可能效果一般，因为有几个参数对结果影响巨大。

采样步数 N 与噪声调度：这是最重要的参数之一。N 决定了你“导航”的精细程度。步数太少，缺失区域可能还没走到合理的位置就停了，导致内容模糊或不合理。步数太多，不仅计算慢，还可能因为随机噪声的累积引入不必要的瑕疵。我一般从100-200步开始尝试。噪声调度决定了每一步的噪声强度（即 t 从多少到多少）。一个常见的策略是 t_start 设得较大（如0.9），让初始噪声强一些，有利于探索更多可能性；然后线性或余弦衰减到接近0。
步长 γ：步长控制着每次更新的幅度。步长太大，容易“走过头”，导致图像不稳定甚至发散；步长太小，则收敛缓慢，效率低下。通常需要根据噪声调度的强度来调整。一个经验法则是，初始步长可以设大一些，随着噪声减弱（t变小），步长也应相应减小。可以尝试 γ = (t / t_start) * base_step_size 这样的自适应策略。
“锚定”策略：在每一步将已知区域替换为带噪真实值（x_anchor），这是保证已知区域不被破坏的关键。但这里有个小技巧：替换的强度可以微调。有时，为了生成的内容与已知区域过渡更自然，我们不是100%替换，而是用一个略小于1的系数（如0.98）进行混合：x_current = 0.98 * x_anchor + 0.02 * x_current（对于已知区域）。这能给生成过程一点点灵活性，避免边界过于生硬。
额外噪声的尺度：朗之万动力学公式中 sqrt(2γ) * z 的系数。这个随机噪声是多样性的来源。对于希望结果确定性的修复（比如文物复原），可以适当减小这个系数；对于希望有创意性、多样化结果的修复，可以保持或增大它。

我自己的调参流程通常是：先固定一个中等步数（如150）和标准的余弦噪声调度，然后主要调整步长 γ。从一个较小的值开始，观察修复过程，如果内容变化太慢，就增大步长；如果图像开始出现奇怪的斑块或发散，就减小步长。找到稳定的步长后，再尝试调整采样步数，看是否能以更少的步数达到类似效果以提升速度。

4. 与传统方法RePaint的深度对比：优势与取舍

看到这里，你可能会觉得：咦，这个在每一步用真实带噪值替换已知区域的操作，听起来和另一个著名的扩散修复方法 RePaint 很像啊？确实，它们在核心思路上有异曲同工之妙，都采用了“迭代去噪+已知区域引导”的范式。但深入细节，你会发现Score-based方法（以噪声估计梯度）与RePaint（基于DDPM）在实现和特性上有着微妙的、但影响深远的区别。

为了更清晰地展示，我把它们的核心区别整理成了下面这个表格：

特性维度	Score-based 方法 (如 NCSNv2, SDE版本)	RePaint (基于DDPM)	对比分析与实战体会
理论基础	基于Score（数据分布梯度）和随机微分方程（SDE）。	基于扩散模型（DDPM）的马尔可夫链前向/反向过程。	Score-based的视角更“连续”，将生成/修复视为在数据空间的随机游走。DDPM的视角更“离散”，是固定的T步加噪/去噪。
训练目标	训练网络预测不同噪声尺度下的Score（或等价地，预测噪声）。损失是简单的MSE。	训练网络预测每一步加入的噪声。损失也是MSE。	在这一层，两者高度相似，甚至网络架构都可以通用。这也是它们容易混淆的原因。
采样/修复过程	朗之万动力学。每一步根据当前估计的Score和随机噪声进行更新。时间步 `t`（噪声水平）是连续或离散变化的参数。	执行DDPM的反向去噪过程。每一步根据预测的噪声，按照确定的公式计算 `x_{t-1}`。必须严格按照预设的T步序列执行。	这是关键区别。Score-based的步长和噪声调度更灵活，可以动态调整。RePaint的流程相对固定。在修复时，RePaint需要复杂的“跳步”策略来协调已知/未知区域噪声水平的不匹配，而Score-based通过Score估计自然融合。
灵活性	高。采样步数、步长、噪声调度都可以自由调整，甚至可以中途改变。	较低。通常需要遵循训练时设定的噪声调度和总步数。	在修复复杂大区域时，Score-based的灵活性优势明显。我可以针对图像不同部分，微调“导航”的力度和随机性。
计算效率	取决于采样步数。由于步长可调，有时能用更少的步数达到不错效果。	通常需要较多的采样步数（如1000步）才能保证高质量，但近年来有加速采样技术。	对于快速原型验证，我更喜欢用Score-based，因为调参快。对于追求极致质量的最终输出，两者经过充分调优后差距不大。
结果特点	由于朗之万动力学的随机噪声项，天生具有多样性。对同一张图修复多次，能得到多个合理且不同的结果。	确定性较强（除非在采样中引入随机性）。多样性更多依赖于对未知区域初始噪声的随机猜测。	如果你需要“脑补”多种可能性（比如设计素材），Score-based是更好的选择。如果你需要稳定、可重复的修复结果，RePaint的风格更稳健。

从我个人的项目经验来看，Score-based方法在处理大面积、结构复杂的缺失时，往往表现得更有“创造力”和韧性。因为它每一步都在根据全局Score进行调整，而不是严格遵循一个预设的去噪路径，所以它能更好地处理已知信息与生成内容之间的平衡。有一次我修复一张缺失了半张脸的旧照片，RePaint生成的结果有时会显得有点“平均脸”，而Score-based方法则能给出多个不同表情、但都与另一边脸协调的生动结果。

当然，RePaint及其后续变种在细节保真度和与原始DDPM生态的兼容性上仍有其优势。特别是当缺失区域很小时，RePaint的确定性流程能非常精准地贴合周围纹理。

5. 超越修复：Score-based思想的延伸与挑战

Score-based方法在图像修复上的成功，其实只是其强大能力的一个缩影。这种“学习梯度场并依此导航”的思想，可以推广到许多其他图像生成和编辑任务中。同时，它也不是没有缺点，在实际应用中我们仍需面对一些挑战。

5.1 其他创新应用场景

图像超分辨率：你可以将低分辨率图像视为“已知区域”，而高分辨率细节视为“缺失区域”。通过设计合适的条件输入方式，让Score模型在“导航”时，始终以低分辨率图像为约束，生成符合其内容的高分辨率细节。这比一些传统方法生成的结果更自然，纹理更丰富。
图像编辑与风格迁移：通过修改“指南针”（Score）的方向，我们可以引导图像向特定风格变化。例如，在计算Score时，不仅考虑原始数据分布，还加入一个指向目标风格图像的“拉力”。这样，朗之万动力学采样就会在保持原图内容结构的同时，逐渐走向目标风格。我试过用这种方法做风景照的季节变换，效果非常平滑自然。
稀疏视图重建：在医学成像或3D重建中，我们可能只有少数几个角度的投影数据（已知区域）。Score模型可以学习完整3D结构的分布，然后在采样时，用稀疏的投影数据作为硬约束，来“导航”出最可能的完整3D模型。这为解决一些逆问题提供了新思路。

5.2 当前面临的挑战与应对

尽管强大，Score-based方法也有它的“阿喀琉斯之踵”。

对低密度区域的估计不准：这是Score-based方法的原罪。在真实数据很少出现的区域（概率密度低），我们缺乏训练样本，因此模型估计的Score可能非常不准确。在修复中，如果缺失区域的初始值恰好落在这种“荒芜之地”，可能会被误导到错误的方向。应对策略：这正是为什么需要在训练和采样时使用多尺度噪声。通过给数据添加不同程度的噪声，我们实际上是在用噪声“抹平”数据分布中的低谷和高峰，让整个空间变得更“平坦”，从而使得Score估计在更广阔的区域都变得可靠。在推理时，从大噪声开始采样，就是先在一个平滑的、Score估计准的“大地图”上确定大概方向，再逐渐切换到小噪声的“精细地图”进行微调。
采样速度慢：朗之万动力学采样通常需要几十到几百步迭代才能得到好结果，这比GAN的一次前向传播要慢得多。应对策略：社区已经有了很多加速采样技术，例如：
- 预测器-校正器（Predictor-Corrector）方法：在朗之万动力学步（校正器）之间，插入一个更大的、基于ODE（常微分方程）的预测步，快速跳到目标区域附近。
- 知识蒸馏：训练一个更快的网络（如GAN）来模仿Score-based模型的采样轨迹，实现“一步到位”或“少步到位”的快速生成。
- 改进的数值求解器：设计更高效的SDE/ODE求解器，用更少的步数达到相同的精度。
复杂掩码边界的处理：当掩码（缺失区域）形状非常不规则、边界极其复杂时，如何确保生成的内容与已知区域在边界处无缝过渡，仍然是一个挑战。简单的像素替换可能导致边界生硬。应对策略：一种有效的方法是在边界附近采用软混合策略，而不是硬替换。例如，定义一个宽度为几个像素的过渡带，在这个带内，已知区域和生成区域的值进行加权平均，权重随着远离边界而平滑变化。这能有效消除接缝感。

在我自己的工作中，遇到最棘手的情况是修复带有复杂、精细纹理的大面积区域，比如一件毛衣的破损部分。Score-based方法能生成合理的毛衣纹理结构，但有时会丢失那种非常细密的、方向一致的针织感。这时候，单纯调整参数可能不够，我通常会结合一些后处理技术，比如用传统的纹理合成方法对生成区域的局部纹理进行微调，或者引入一个感知损失（Perceptual Loss）来在采样过程中加强对纹理一致性的约束。

Score-based方法为我们打开了一扇新的大门，它用“梯度导航”这一统一框架，优雅地解决了生成和修复问题。虽然它还在不断进化，面临速度、精度等方面的挑战，但其核心思想的简洁性和强大性已经得到了充分证明。对于任何想要深入AIGC和图像处理领域的朋友，理解并掌握Score-based方法，绝对是提升技术视野和解决问题能力的关键一步。