Alias-Free Latent Diffusion Models:Improving Fractional Shift Equivariance of Diffusion Latent Spac

原创 已于 2025-04-03 14:08:55 修改 · 1.2k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2025-04-03 14:01:04 首次发布

CVPR 2025 | Alias-Free LDM: 从本质上提升潜扩散模型生成稳定性

潜扩散模型 (Latent Diffusion Models, LDM) 常因生成过程不稳定而备受诟病：哪怕模型的输入只是受到了一点微小的扰动，模型的最终输出也会截然不同。以视频逐帧风格化任务为例，哪怕对每帧使用同样的 Stable Diffusion ControlNet 图生图编辑方法，同样的随机种子，生成的风格化视频会有明显的闪烁现象。

为了找出这一现象的原因，我们设计了一种配置简单的扩散模型编辑实验：平移扩散模型的初始噪声，观察去噪输出。理想情况下，平移输入噪声，输出图片也应该会平滑地平移。然而，实验结果却显示，直接平移输入噪声会大幅改变输出图片；使用了提升内容一致性的 Cross-frame Attention (CFA) 技术后，虽然图片的主体内容不再变化，可是输出图像在平移时还是有不自然的「抖动」现象。

为什么 LDM 的生成过程这么不稳定呢？为什么 CFA 技术又能提升生成的一致性呢？在我们团队近期发表于 CVPR 2025 的论文 Alias-Free Latent Diffusion Models: sImproving Fractional Shift Equivariance of Diffusion Latent Space 中，我们从平移同变性 (shift equivariance) 的角度分析了 LDM 的生成稳定性，并提出了一种能够提升平移同变性的 Alias-Free LDM (AF-LDM) 模型。我们在无约束人脸生成、视频编辑、超分辨率、法向量估计等多个任务上验证了该模型的有效性。

图片

在这篇博文中，我将系统性地介绍一下这篇论文。我会先简单回顾背景知识，让对信号处理不太熟悉的读者也能读懂本文；再介绍论文的方法、实验、贡献；最后从本工作出发，探讨新的科研方向。

项目网站：https://zhouyifan.net/AF-LDM-Page/

背景知识回顾

本节我会先回顾 LDM，再回顾对平移同变性做了深入研究的 StyleGAN3。由于理解 StyleGAN3 需要了解信号处理的基本概念，我会在尽量不用公式的前提下讲清楚图像频率、混叠等概念。为了简化文字，我会省略理论推导，并使用一些易懂却不见得严谨的叙述。对这些原理感兴趣的读者可以系统性地学习一下 StyleGAN3 论文。

潜扩散模型

扩散模型是一种图像生成模型。生成算法的输入是一张纯噪声图，输出是一张清晰图像。算法执行  步，每一步都会调用一个去噪网络来去除图像中的部分噪声。

图片

由于扩散模型运算较慢，我们可以借助一个变分自编码器 (VAE) 来压缩要生成的图像，减少要计算的像素数。简单来讲，VAE 由一个编码器 (encoder) 和一个解码器 (decoder) 组成。编码器负责压缩图像，解码器负责将压缩图像重建。网络的学习目标是让重建图像和输入图像尽可能相似。训练结束后，我们可以单独使用编码器或解码器，实现压缩图像和真实图像之间的相互转换。论文里通常会把压缩图像称为潜图像 (latent image 或者 latent)。

图片

潜扩散模型 (Latent Diffusion Models, LDM) 是一种借助 VAE 加速的两阶段扩散模型。普通的像素级扩散模型会生成一张同样大小的清晰图像。而 LDM 会先生成一张潜图像，再用解码器把潜图像还原成真实图像。我们可以把解码操作简单看成一个特殊的上采样。比如在 Stable Diffusion 中，潜图像的边长被压缩了 8 倍，即解码器会对潜图像上采样 8 倍。

图片

训练 LDM 时，我们需要获取训练图像的潜图像。因此，为了构建训练集，我们会用编码器把训练图像转换为潜空间的图像。

图片

图像的频域表示

在计算机中，图像有很多种表示形式。最常见的形式是空域图像：图像由一个像素矩阵表示，每个像素存储了图像在某个位置的颜色值。此外，还可以把图像表示为频域图像：我们认为图像是由许多不同频率的正弦函数叠加而成的，频域图像的每个像素存储每个频率的正弦函数的振幅和相位。直观来看，图像在空域和频域的可视化结果如下所示：

图片

具体来说，我们可以把空域图像和频域图像都看成二维数组。对于空域图像来说，数组的索引是二维位置坐标，值是此位置的颜色值；对于频域图像来说，数组的索引是横向和纵向的一对频率，值是该频率下的正弦函数的振幅和相位。

图片

为什么我们要大费周章地在频域里表示一张图像呢？这是因为图像的各个频率分量从另一个维度拆分了图像中的信息，这种拆分方式有助于我们分析图像。一张空域图像可以通过 FFT 操作变换成频域图像，而频域图像又可以通过 IFFT 操作变回空域图像。那么，我们可以用如下操作可视化不同频率分量的作用：

  1. 把输入空域图像用 FFT 转换到频域

  2. 对频域图像滤波，分别得到低频、中频、高频三张频域图像

  3. 用 IFFT 在空域中可视化三张频域图像

该操作的结果如下所示。可以看出，图像的低频分量描述了图像的全局结构，而中频分量和高频分量进一步完善了图像的细节。

图片

混叠

假设有一根时针在顺时针匀速旋转。现在，我每秒拍一次照片，一共拍下了时针的三张照片。请问，时针的旋转速度是每秒多少度呢？

最低0.47元/天 解锁文章
详细解读Latent Diffusion Models：原理和代码
沉迷单车的追风少年
08-21 1万+
CVPR 2022中的一项新工作latent diffusion models引起了广泛关注，提出了两段式diffusion models能有效节省计算资源，latent attention技术为通用image-to-image任务打下基础，让人耳目一新，具有极强的借鉴意义和启发性，值得深度阅读。...
详细解读SDXL: Improving Latent Diffusion Models forHigh-Resolution Image Synthesis
沉迷单车的追风少年
08-17 1311
SDXL是当下新推出的扩散模型，高质量、高分辨率、高真实性大背后是哪些技术支撑？如此先进的扩散模型做了哪些改进？这一讲详细解读一下SDXL背后的原理和技术。
（论文速读）告别闪烁与抖动：Alias-Free Latent Diffusion Model 如何实现稳定生成？
LJ1147517021的博客
09-20 1005
摘要：CVPR 2025论文《Alias-Free Latent Diffusion Models》针对潜在扩散模型(LDM)存在的生成不稳定问题，提出了一种新型无别名潜扩散模型(AF-LDM)。该研究揭示了造成LDM不一致性的两大根源：1)VAE训练和U-Net推断过程中的混叠放大效应；2)自注意力模块缺乏移位等方差性。通过引入抗混叠操作、等变注意力机制和等变损失函数，AF-LDM显著提升了模型的位移等变性。实验表明，AF-LDM在视频编辑和图像翻译等任务中能产生更稳定的结果，有效解决了传统LDM对输入微
SDXL Improving Latent Diffusion Models for High-Resolution Image Synthesis
weixin_44966641的博客
05-20 1543
SDXL 三个主要的改进：1）更大的模型，这不必多说，已经是如今深度学习的趋势。2）微条件，这是一种比较巧妙的提升数据质量和数量的方式，更高效利用数据。3）引入 refine 精修模型，没具体评测过，不够貌似没什么人用呢。
深入浅出 diffusion(5)：理解 Latent Diffusion Models(LDMs)
热门推荐
U R MINE
01-31 1万+
1. LDM 优势如果你了解 diffusion 原理的话，那么理解 Latent Diffusion Models 的原理就比较容易。论文High-Resolution Image Synthesis with Latent Diffusion Models（Latent Diffusion Models）发表于CVPR2022，第一作者是Robin Rombach（慕尼黑大学）。1. LDM 优势论文LDM 的网络示意图如下所示。
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
程永强
04-11 1337
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
LDM：High-Resolution Image Synthesis with Latent Diffusion Models
weixin_44966641的博客
02-18 2284
Stable Diffusion 的影响力不用多说，本文主要提了 LDM 技术上的两个关键点。其中 VAE 感知压缩要首先深刻理解一系列自编码压缩方法（之前的文章都有介绍），然后搞懂 KL-reg 和 VQ-reg 两种正则化方式实际上相当于什么方法，以及为什么要加正则。交叉注意力的条件生成机制也是目前比较常用的，理解好交叉注意力机制本身是如何操作的即可，别的就是如何将不同的条件形式进行高效编码。
论文阅读：High-Resolution Image Synthesis with Latent Diffusion Models
huzimu_的博客
02-26 1622
Stable Diffusion技术论文《High-Resolution Image Synthesis with Latent Diffusion Models》的阅读记录。
SDXS：Real-Time One-Step Latent Diffusion Models with Image Conditions
随便写写
04-28 1300
在看这个文章之前，首先要对 consistency model ，score-based model要有一定了解，以及相应的知识蒸馏，怎样去做单步生成的等等扩散模型由于其迭代采样过程而导致显著的延迟。为了减轻这些限制，作者引入了一种双重方法，包括模型小型化和减少采样步骤，旨在显著降低模型延迟。还是利用知识蒸馏来简化U-Net和图像解码器架构，并引入了一种利用特征匹配和分数蒸馏的创新的单步DM训练技术。作者提出了两种模型，和。
【AI学习-comfyUI学习-第二十三-法线贴图工作流-depth 结构+MiDaS 法线-各个部分学习】
qq_22146161的博客
12-25 1097
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
做了一块可以调用百度云语音识别api和tts api的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享下
net3m33的专栏
12-25 505
做了一块可以调用百度云语音识别api和语音合成tts接口的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享
第N11周：seq2seq翻译实战-Pytorch复现
最新发布
m0_46260522的博客
12-26 372
5.2 注意力解码器（AttnDecoderRNN）7.2 训练迭代主循环。
Q-learning 算法 —— 无模型（model-free）强化学习
一杯水果茶！足矣~
12-25 1057
从已知模型到 Model-free 的强化学习转变：Q-Learning 算法，通过详细示例来讲解，理解 Q-table 的更新和贪婪策略
2025国自然资助率12.29%创新低！2026年如何用数据与AI“破局”？
imbackneverdie的博客
12-25 857
这绝非简单的文字堆砌，它内在嵌入了对国自然申报规范的理解，能有效帮你规避常见的“方向偏离”“逻辑混乱”“格式错误”等基础问题，将你从繁琐的框架搭建中解放出来，专注于核心内容的精雕细琢。国自然2025年的资助率降至历史新低的12.29%，数万科研人员面对着更激烈的竞争与更严格的评审标准，对于2026年度的申报者而言，“高效准备，少走弯路”已不是口号，而是生存法则。它不仅告诉你“是什么”，更分析“为什么”和“怎么办”，直接为你的选题方向和立项论证提供坚实的数据支撑。模块，堪称科研人员的“选题外脑”。
企业级 RAG 问答系统开发上线流程分析
hello！
12-22 1497
这个项目流程是一个非常典型的。
打造个人数字大脑：访答知识库深度指南
acbd1994的博客
12-23 873
本地私有知识库是指将个人或组织的知识资料存储在本地设备上，而非云端服务器。这种模式最大的优势在于数据完全由用户掌控，无需担心隐私泄露风险。与传统的云存储知识库相比，本地解决方案在数据安全性和访问速度上具有明显优势。
如果计算agv舵轮角度是否超限，当给定vx vy w时
君君的博客
12-25 478
agv 舵轮 运动控制 运动学模型
毕业项目推荐：90-基于yolov8/yolov5/yolo11的工程车辆检测识别系统（Python+卷积神经网络）
weixin_71667732的博客
12-26 1043
本文介绍了一个基于深度学习的工程车辆智能监控系统，采用YOLOv8/YOLOv5/YOLO11算法，并集成SE注意力机制提升检测精度。系统支持图片、视频、摄像头输入的实时检测，具备UI界面，可直观展示检测结果并导出xls格式数据。功能包括单张图片识别、文件夹批量识别、视频逐帧检测、摄像头实时监控以及结果查看与导出。该系统可有效识别多种工程车辆类型，为施工安全提供智能化解决方案。文章提供了完整Python代码和使用指南，方便读者学习和应用。
单细胞拟时序分析：揭示细胞动态发育的基因调控网络
2501_94211109的博客
12-24 972
单细胞拟时序分析是一种前沿计算生物学技术，通过重构单细胞转录组数据的连续动态轨迹，揭示细胞分化、发育等过程的基因调控网络。该技术面临数据稀疏性、高维处理、分支识别等技术挑战，核心算法包括最小生成树、概率图模型和深度学习方法。在发育生物学、疾病机制和再生医学等领域具有重要应用价值。未来发展方向包括多模态数据整合、动态模型构建和空间信息融合，为深入理解细胞动态发育提供新视角。
Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis阅读笔记
05-29
### Coarse-to-Fine Latent Diffusion (CFLD) for Pose-Guided Person Image Synthesis 论文解读 Coarse-to-Fine Latent Diffusion (CFLD) 是一种针对姿态引导的人像图像合成任务提出的新型方法。该方法旨在解决传统方法中存在的过拟合和低泛化性问题，通过引入粗粒度到细粒度的扩散框架来提升生成图像的质量和语义理解能力。 #### 1. 背景与动机 传统的姿态引导图像合成方法通常简单地将源图像的外观与目标姿态对齐，这种方法容易导致过拟合，因为缺乏对源图像的高层次语义理解。此外，基于生成对抗网络（GAN）的方法在稳定性方面表现不佳，而现有的扩散模型方法则存在对人像的高层次语义理解不足的问题[^2]。 #### 2. 方法概述 CFLD 方法的核心思想是打破传统的训练范式，利用文本提示（text prompt）控制预训练的文本到图像扩散模型（text-to-image diffusion model）的生成过程。具体来说，CFLD 提出了以下关键组件： - **感知精炼解码器（Perception-Refined Decoder）**：该模块负责从源图像中学习细粒度的外观信息，并将其转换为一组提示标记（prompt token）。这些提示标记替代了传统的文本提示，作为粗粒度提示，关注人像的常规语义。 - **混合粒度注意力模块（Hybrid-Granularity Attention Module）**：该模块将多尺度的细粒度外观信息作为偏差项（bias term），增强粗粒度提示，从而更好地控制生成图像的纹理细节。 #### 3. 技术贡献 CFLD 的主要技术贡献包括： - **粗粒度到细粒度的扩散框架**：通过逐步从粗粒度到细粒度生成图像，提升了生成图像的质量和语义一致性。 - **细粒度外观信息解耦**：利用类似 QFormer 的结构从源图像中提取细粒度的外观信息，增强了生成图像的真实感。 - **高层次语义理解**：通过结合粗粒度提示和细粒度外观信息，提升了模型对人像的高层次语义理解能力。 #### 4. 实验结果 实验表明，CFLD 方法在姿态引导的人像图像合成任务中表现出色，能够生成高质量且语义一致的图像。相比于传统的 GAN 基础方法和扩散模型方法，CFLD 在减少过拟合和提升泛化性方面具有显著优势[^2]。 ```python # 示例代码：简单的扩散模型实现框架 import torch import torch.nn as nn class CFLDModel(nn.Module): def __init__(self, latent_dim, num_classes): super(CFLDModel, self).__init__() self.latent_dim = latent_dim self.num_classes = num_classes self.encoder = nn.Linear(latent_dim, 256) self.decoder = nn.Linear(256, latent_dim) def forward(self, x): x = self.encoder(x) x = torch.relu(x) x = self.decoder(x) return x ``` #### 5. 总结 CFLD 方法通过引入粗粒度到细粒度的扩散框架，解决了传统姿态引导图像合成方法中的过拟合和低泛化性问题。其核心在于利用感知精炼解码器和混合粒度注意力模块，实现了对人像的高层次语义理解和细粒度外观信息的解耦，从而生成高质量的图像。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值