- 博客(11)
- 收藏
- 关注
RSS订阅原创 一致性模型介绍 以及 SDE/ODE
PF ODE（Probability Flow Ordinary Differential Equation）是SDE的确定性版本，通过消除随机噪声项，将扩散模型的随机过程转化为确定性轨迹。扩散模型通过SDE定义数据的逐步加噪过程，例如DDPM（Denoising Diffusion Probabilistic Models）的前向过程可视为离散化的SDE。扩散模型的去噪过程可建模为PF-ODE轨迹，一致性模型通过学习该轨迹上的点与初始点的映射关系，直接预测干净数据。），直接预测干净数据。
2025-02-23 14:51:08
889
原创 比扩散模型快50倍！简化，稳定和扩展连续时间一致性模型 SIMPLIFYING, STABILIZING & SCALING CONTINUOUS- TIME CONSISTENCY MODELS
一致性模型（CMs）是一类强大的基于扩散的生成模型，它们针对快速采样进行了优化。大多数现有的CMs都是使用离散化的时间步长进行训练的，这引入了额外的超参数，并且容易受到离散化误差的影响。虽然连续时间表述可以减轻这些问题，但由于训练不稳定性，它们的成功受到了限制。为了解决这个问题，我们提出了一个简化的理论框架，它统一了扩散模型和CMs的先前参数化，识别了不稳定性的根本原因。基于这个分析，我们引入了在扩散过程参数化、网络架构和训练目标方面的关键改进。这些变化使我们能够以前所未有的规模训练连续时间CMs，达到了在
2024-10-31 20:46:01
1274
原创 【论文阅读】开集图像恢复的测试时间退化自适应Test-Time Degradation Adaptation for Open-Set Image Restoration
与在预训练阶段就已定义好的退化集（close-set scenarios）中恢复图像不同，开放集图像恢复（open-set image restoration）旨在处理在预训练阶段未预见的未知退化。据我们所知，这方面的研究还相对较少。本研究探讨了这一挑战性问题，并揭示了其本质是测试和训练数据之间未识别的分布偏移。最近，测试时适应（test-time adaptation）已成为解决这种固有差异的基本方法。受此启发，我们提出了一个用于开放集图像恢复的测试时退化适应框架，该框架包括三个组成部分：i) 一个预训练
2024-10-26 20:22:00
1075
1
原创 【论文学习】迈向有效的多合一图像复原：一个循序渐进的快速学习策略 Towards Effective Multiple-in-One Image Restoration
尽管单一任务图像恢复（IR）已经取得了显著的成功，但训练一个能够同时处理多个IR任务的单一模型仍然是一个挑战。在本项工作中，我们深入研究了包含七个流行IR任务的多合一（MiO）IR问题。我们指出MiO IR面临两个关键挑战：多样化目标的优化和对多个任务的适应。为了应对这些挑战，我们提出了两种简单但有效的策略。第一个策略，称为顺序学习，试图解决如何优化多样化目标的问题，它指导网络以递增的方式逐个学习单独的IR任务，而不是将它们混合在一起。第二个策略，即提示学习，试图解决如何适应不同的IR任务，它帮助网络理解特
2024-10-25 17:21:20
925
原创 DA-CLIP-universal-image-restoration代码详解
随着$ t $ 的增加， $e^{-\theta_{\text{cumsum}}[t] \cdot \Delta t} $ 项逐渐减小，导致。总的来说，这个公式通过结合漂移和扩散的影响，计算了在逆向 SDE 过程中的期望状态，这有助于模型学习如何从噪声数据中恢复出原始数据。的影响减少，最终在$t $ 趋向无穷大时，$\mu_{\text{bar}}(x_0, t) $将趋向于 $ \mu$。的累积效应，来估计最优的前一状态。是过程的均值，它被加到最后的结果中，以确保计算的最优前一状态是相对于过程均值的。
2024-10-21 17:04:19
642
原创 [学习笔记] Palette: Image-to-Image Diffusion Models
调色板：图像到图像扩散模型原文链接：[2111.05826] Palette: Image-to-Image Diffusion Models (arxiv.org)“本作品仅供学习交流使用，严禁用于商业用途。如果保存，请在24小时内删除。作者不承担任何责任。。
2023-12-02 15:55:56
3789
5
原创 guidance diffusion 代码阅读笔记
后验均值系数的计算：这些系数用于计算模型的后验均值。具体来说，posterior_mean_coef1是beta值乘以np.sqrt(self.alphas_cumprod_prev)除以(1.0 - self.alphas_cumprod)，posterior_mean_coef2是(1.0 - self.alphas_cumprod_prev)乘以np.sqrt(alphas)除以(1.0 - self.alphas_cumprod)。这些系数可以用于计算模型的后验均值。就是这俩系数。
2023-10-25 15:50:06
2337
原创 DDPM图像生成的pytorch实现（新手向）
我这边用的数据集是celeb-A 256的数据集，一开始用64*64做的时候效果感觉已经比较不错了，然后改成256之后不知道为啥就很慢，用的4060ti，感觉也不应该啊。定义一些用得到的方法，里面的get_index_from_list()和forward_diffusion_sample()这两个函数感觉还蛮有意思的，但其实就是。获取图片的路径，印象中glob这个函数好像是不同版本用法不同，有个顺序的问题，遇到问题了再百度。正在入坑DDPM，开源代码都看不懂，捣鼓了几天弄出来一个简易版。
2023-10-21 21:05:39
842
2
原创 [学习笔记]Post-training Quantization on Diffusion Models
训练后量化 (PTQ) 算法将训练过的 FP32 网络直接转换为定点计算的网络，过程中无需对原始模型进行任何训练。只对几个超参数调整就可完成量化过程，量化模型以一种更有效的计算方式进行模型推理。量化后模型中的参数使用低 bit 表示，在数据搬移时降低了带宽要求，在计算过程中一般硬件对于低 bit 整形数据具有更高的标称算力，因此模型量化的优化方案在多数情况下可获得较大的推理速度提升，此方法已被广泛应用于大量的端侧和云侧部署场景。
2023-10-10 15:36:07
725
翻译 [学习笔记]Diffusion Probabilistic Model Made Slim
尽管最近取得了视觉上令人愉悦的结果，但扩散概率模型（DPM）的计算成本一直是其长期存在的缺陷，这反过来又大大限制了其在资源有限的平台上的应用。然而，之前对高效DPM的方法大多集中在加速测试，而忽视了它们的巨大复杂性和规模。在这篇论文中，我们致力于减轻DPM的负担，同时努力保持其有利的性能。**我们首先从头开始训练一个小型的潜在扩散模型（LDM），但观察到合成图像的显著失真。通过全面评估，我们发现DPM本质上对高频生成有偏见，并学习在不同的时间步长恢复不同的频率成分。
2023-10-10 15:32:21
414
1
翻译 [学习笔记]冷扩散 Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
此外，为了证明几乎可以反转任何变换，我们包括了一种被称为变形的新变换，即我们迭代地将CelebA的人脸变换为AFHQ的动物脸。这仍然从图像中删除了所有信息，但它允许我们从不同颜色的图像开始，通过算法2从学习的分布中恢复不同的样本。我们讨论使用基于噪声的退化的图像生成。我们考虑基于高斯模糊操作（与高斯噪声相反）的广义扩散，其中步骤t处的图像比t−1处的图像具有更多的模糊。从高温（大噪声）状态开始，慢慢冷却到几乎没有噪声的“冷”状态，明确地表明，在扩散模型中，噪声不是必要的，并且去除噪声对许多逆问题有影响。
2023-10-10 15:08:37
1822
计算机视觉中基于扩散模型的图像恢复与SDE解析
2024-11-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人