ECCV 2024 | 扩散模型diffusion优化新思路：12篇前沿论文深度解析

1. 高分辨率图像合成：从“拼图”到“无限画布”

如果你用过像 Stable Diffusion 这样的 AI 绘画工具，肯定遇到过这样的烦恼：想生成一张超高清的壁纸，比如 4K 甚至 8K 的大图，结果要么是显存爆炸直接报错，要么就是生成出来的图细节模糊、物体重复，看起来特别假。这背后的核心难题，就是如何让扩散模型突破训练时的分辨率限制，去合成更大、更清晰的图像。

传统的“分块”（Patch-based）方法是一种取巧的思路，你可以把它想象成“拼图”。它把一张大图切成很多小块，分别生成，最后再拼起来。这样做计算压力是小了，但问题也很明显：每个小块只顾自己那一亩三分地，彼此之间缺乏沟通，导致拼出来的整体图像在结构和语义上不连贯，长距离的依赖关系（比如画面左边的人物和右边的背景是否协调）完全丢失了。

ECCV 2024 上，来自 Stony Brook 大学 CV 实验室的 ∞-Brush 论文，就提出了一种非常巧妙的解决方案。他们不再把图像看作是由固定数量的像素点（有限维）组成的，而是将其视为一个“函数”（无限维）。简单来说，传统模型认为图像就是 512x512 个点，而 ∞-Brush 认为图像是定义在连续二维空间上的一个颜色函数。这个视角的转变，让他们引入了“交叉注意力神经操作器”来实现条件控制。我试过理解这个操作器，它有点像是一个超级智能的“全局调度员”，能够在函数空间中直接操作，确保无论图像多大，模型都能捕捉并维持全局的结构一致性，同时还能保留丰富的局部细节。

他们放出的结果相当震撼，能够可控地合成高达 4096 × 4096 像素的超高分辨率图像，而且细节和整体结构都保持得很好。这对于数字病理学分析、遥感影像生成等需要处理超大图像的专业领域，意义重大。开源代码已经放出，有兴趣的开发者可以立刻去 GitHub 上体验一下这种“无限画布”的生成能力。

另一个解决高分辨率生成中“鬼打墙”式物体重复问题的，是 AccDiffusion 这篇工作。你有没有发现，当你让模型生成“一只猫在草地上”的高清大图时，它可能会在画面不同角落给你复制出好几只一模一样的猫？AccDiffusion 的团队深入分析了这个问题，发现根源在于：当我们把一张大图分成多个区域时，同一个文本提示（如“一只猫”）被机械地应用到了所有分区，导致每个分区都独立地生成了猫。

他们的解决方案很直观，我称之为“分区描述解耦”。与其用一个笼统的提示指导整张图，不如为图像的每个分区生成更精准、更具体的描述性提示。比如，左上角分区可能是“一只橘猫趴在树荫下”，右下角分区可能是“一片开着小花的草地”。同时，他们还引入了“带窗口交互的膨胀采样”技术，来加强不同分区在生成过程中的信息交流，进一步提升全局一致性。这个方法最棒的一点是，它完全不需要重新训练模型，是一种即插即用的后处理优化技巧，实测下来对于消除物体重复、提升大图生成质量非常有效。

2. 计算效率革命：让扩散模型“轻装上阵”

扩散模型生成质量高，但速度慢、计算开销大，这是出了名的。每次生成都要迭代几十甚至上百步，对 GPU 是巨大的考验。ECCV 2024 上，研究者们从多个角度向这个“效率瓶颈”发起了进攻。

清华大学提出的 Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators 工作，直指扩散 Transformer（DiT）模型的核心计算瓶颈——自注意力机制。他们发现，在去噪过程的不同阶段，模型对“注意力”的需求是不同的。早期阶段，模型主要关注粗粒度的结构和布局，查询（Query）和键（Key）之间的交互存在大量冗余。强行进行全量的注意力计算，无疑是巨大的浪费。

他们的思路是引入一组“中介令牌”（Mediator Tokens）。你可以把这些中介想象成“区域代表”。在去噪早期，模型不需要让每个像素（或令牌）都互相沟通，而是让它们先跟这些“区域代表”汇报，再由“代表们”进行高层级的协商。这样一来，注意力计算的复杂度就从平方级降到了线性级，计算量骤减。更妙的是，他们还设计了一个动态机制，随着去噪步从“明确结构”阶段过渡到“丰富细节”阶段，逐步增加“中介代表”的数量，实现精度和效率的自适应平衡。与当前很火的 SiT 模型结合后，在 ImageNet 上取得了 2.01 的 FID 分数，效果拔群的同时大幅降低了推理成本。

模型效率的另一个维度是“瘦身”。SlimFlow 这篇论文的目标非常明确：训练更小、更快的一步生成式扩散模型。现有的矫正流（Rectified Flow）框架虽然能通过“回流”和“蒸馏”将多步扩散模型压缩成一步模型，但很少有人关注压缩模型本身的参数量。SlimFlow 要做的就是“联合压缩”：既减少推理步数（到一步），又缩小模型尺寸。

这带来了新挑战：大老师模型和小学生模型之间如何有效进行知识蒸馏？他们提出了“渐进式回流”和“流引导蒸馏”两个核心组件，构成了 SlimFlow 框架。最终，他们在 CIFAR-10 数据集上训练出了一个仅有 1570 万参数的一步扩散模型，FID 达到了 5.02，超越了之前所有同类型的小模型。这意味着在手机、嵌入式设备等计算资源受限的场景下，我们也有望运行高质量的实时图像生成模型了。

此外，Memory-Efficient Fine-Tuning for Quantized Diffusion Model 这篇工作则聚焦于量化后模型的微调难题。像 Stable Diffusion XL 这样的大模型，经过量化（如从 FP16 降到 INT8）后能极大减少存储和推理开销，但直接微调量化模型效果会大幅下降。这篇论文提出的 TuneQDM 方法，通过引入可分离的量化比例函数，并考虑不同时间步中权重的不同模式，实现了对量化模型的高效、高性能微调。我在尝试微调个性化模型时，经常被显存不足劝退，而这种方法能在保持与全精度模型媲美的生成质量下，显著降低微调时的内存占用，对普通开发者非常友好。

3. 文本-图像对齐：从“大概齐”到“精准控”

“文不对图”是当前文生图模型最大的痛点之一。你输入“一杯冰可乐”，模型很可能给你一个装着冰可乐的玻璃杯，而你心里想的是复古陶瓷杯。这是因为在训练数据中，“冰可乐”和“玻璃杯”共同出现的概率太高，导致模型在潜在语义空间里把这两个概念错误地绑定在了一起。ECCV 2024 的多篇论文都在深入挖掘并试图解决这个根本性的对齐问题。

Lost in Translation: Latent Concept Misalignment in Text-to-Image Diffusion Models 这篇论文非常生动地将上述现象命名为“潜在概念对齐失误”（LC-Mis）。他们利用大语言模型（LLM）系统性地分析和构建了存在此类对齐问题的测试集，并开发了一个自动化流程来纠正扩散模型潜在语义空间中的混淆。简单说，就是教模型学会区分“冰可乐”和“装冰可乐的容器”是两个独立的概念，从而根据提示更准确地组合它们。这种方法显著减少了经典的对齐错误，增强了模型的鲁棒性和泛化能力。

而 Enhancing Diffusion Models with Text-Encoder Reinforcement Learning 则从一个常被忽视的角度切入——文本编码器。现有的文生图模型，通常只微调负责图像的 U-Net 部分，而把 CLIP 等文本编码器当作预训练好的、固定不变的模块。但这篇论文指出，一个“次优”的文本编码器会成为性能提升的瓶颈。即使你把 U-Net 调教得再好，如果文本编码器无法为“微笑的蒙娜丽莎”生成精准的语义嵌入，最终图像也很难达到理想效果。

因此，他们提出了 TexForce 方法，利用强化学习，基于人类反馈的奖励信号（如图像美学得分、图文对齐度）来微调文本编码器。他们采用了低秩适配（LoRA）等技术，让微调高效且易于与现有模型集成。实验表明，通过让文本编码器学会生成更利于高质量图像生成的文本特征，可以在人脸、手部等细节丰富的生成任务上获得显著提升。这给我们一个启示：提升文生图模型，不能只盯着视觉部分，给“语言理解官”升级同样重要。

在追求精细控制方面，PreciseControl 做出了精彩的示范。它专注于人脸属性的精细化编辑。现有方法往往只能做到“换脸”或基于文本的粗略编辑（如“让ta微笑”），但如何控制微笑的弧度、眼睛睁大的程度等细微属性呢？PreciseControl 巧妙地借用了 StyleGAN 的 W+ 潜在空间。这个空间以解耦、平滑地控制人脸属性而闻名。他们训练了一个“潜在映射器”，将 StyleGAN 的 W+ 编码映射到扩散模型的交叉注意力层。这样，用户就可以通过操纵熟悉的、平滑的 W+ 向量，来对扩散模型生成的人脸进行极其精细和连续的控制，比如让微笑一点点浮现，同时完美保持人物身份。这为实现真正实用的AI肖像编辑工具迈出了关键一步。

4. 模型安全与隐私：给扩散模型加上“安全锁”

随着扩散模型的强大和普及，其安全与隐私问题日益凸显。模型可能生成侵权、不当或有害的内容，也可能泄露训练数据中的隐私信息。ECCV 2024 上，研究者们提出了多种技术来给扩散模型装上“安全锁”。

Reliable and Efficient Concept Erasure (RECE) 的目标是“概念擦除”——从模型中安全地移除某个特定概念（如某个名人的脸、一种不安全的艺术风格）。之前的方法要么擦除不彻底，要么计算代价高昂，还会损害模型的其他生成能力。RECE 的亮点在于其惊人的效率：它能在 3秒内 完成对一个预训练模型的修改，而无需任何额外的微调训练。其核心是利用闭合形式的解来推导新的交叉注意力目标嵌入，这个新嵌入能确保模型“忘记”目标概念，同时通过正则化项和对齐无害概念，最大程度保留模型的整体生成能力。这种高效、可靠的概念擦除技术，为模型部署前的安全审核提供了实用工具。

另一篇引人深思的工作是 Unmasking Bias in Diffusion Model Training。它揭示了扩散模型默认训练范式中的一个固有偏差。我们通常使用固定的损失权重来训练噪声预测模型，但这篇论文从理论上证明，这种恒定权重策略会导致训练过程中的估计偏差，使得模型难以准确估计原始图像数据，进而表现为训练收敛慢、生成图像出现颜色偏差等问题。他们随之提出了一个简单而有效的动态损失加权策略。仅仅通过调整训练时的损失权重分配，就能显著提升样本质量，并加快训练和采样速度。这提醒我们，有时候阻碍模型性能的，可能不是复杂的架构，而是一些基础设定中的“盲点”。

最后，Post-training Quantization with Progressive Calibration and Activation Relaxing 关注的是模型压缩中的安全问题。后训练量化（PTQ）是压缩扩散模型的常用手段，但大多数研究集中在无条件模型上。这篇论文针对更复杂的文生图模型（如 Stable Diffusion），提出了 PCR 方法。它包括一个“渐进校准”策略，考虑量化误差在扩散时间步中的累积效应；以及一个“激活松弛”策略，以极小的成本提升性能。更重要的是，他们发现之前用于评估量化文生图模型的指标并不准确，因此提出了新的 QDiffBench 基准测试，使用同领域数据进行更可靠的评估。这确保了我们在追求模型效率、便于部署的同时，能够更准确地评估和保障其生成质量与安全性，避免因压缩而引入不可控的风险。

这些工作共同描绘了扩散模型发展的清晰脉络：在追求更高画质、更快速度、更强控制力的同时，整个社区也在认真审视并加固模型的基础，确保这项强大的技术能够朝着安全、可靠、负责任的方向发展。无论是通过数学洞察优化训练基础，还是设计精巧的算法实现高效安全控制，这些来自 ECCV 2024 的前沿探索，都在为下一代扩散模型的落地应用铺平道路。对于开发者而言，紧跟这些进展，意味着能更快地将更强大、更易用、更安全的生成式 AI 能力集成到自己的产品中。