学习笔记（二）----diffusion model

已于 2024-10-17 19:31:04 修改
阅读量1.5k 收藏 28
点赞数 35
分类专栏： 深度学习 机器学习 文章标签： 学习 笔记 python stable diffusion 计算机视觉
于 2024-04-01 16:29:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_52121118/article/details/137225844
版权
文章介绍了扩散模型，特别是DDPM，一种用于图像生成的去噪概率模型。通过前向过程加噪声和反向过程去噪，模型能将文本描述转化为图像。U-Net和马尔可夫链的概念也被提及，展示了训练过程和网络结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

代码：GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion model

论文：[1505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation (arxiv.org)

一、什么是Diffusion Model（扩散模型）

（本文介绍的diffusion Model 是论文：Denoising Diffusion Probabilistic Models(DDPM)去噪扩散概率模型，DDPM是2020年提出，是AIGC主流生成模型）

我们可以看到最近很火的text-to-image，通过给定文本描述生成图片，当前最先进的两个text-to-image是OpenAI的DALL E2和Google的Imagen，他们都是基于扩散模型来完成的。

Diffusion Model也是生成模型的一种，因此在讲扩散模型之前，我们来简单回顾一下生成模型的发展：（图片来自：什么是扩散模型？ |Lil'Log的 (lilianweng.github.io)）

其他生成模型再次不展开讲述，扩散模型不同于以上生成模型，扩散模型的原理类似通过学习给图片去噪的过程，因此生成的图片比其他生成模型情绪度高。

扩散模型定义了一个马

最低0.47元/天 解锁文章
扩散模型（Diffusion Model）——生成模型
m0_75253143的博客
08-09 6604
扩散模型（Diffusion Model）是一种生成模型，最近在图像生成、视频生成、语音合成等领域取得了显著的进展。与传统的生成对抗网络（GAN）和变分自编码器（VAE）不同，扩散模型通过逐步将噪声添加到数据并反转这一过程来生成新样本。
【图像超分】论文精读Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
08-23 520
论文题目：Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution —— DAQ：用于深度图像超分辨率网络的通道级分布感知量化CVPR 2024！超越RealBasicVSR、StableSR！最新视频超分！开源啊！一直不开源都快一年了！基于文本的扩散模型在生成和编辑方面取得了显著的成功，显示出通过其生成先验来增强视觉内容的巨大潜力。
生成模型——扩散模型（Diffusion Model）
最新发布
大摆王的博客
05-24 1568
扩散模型（Diffusion Model）是一种生成模型，主要用于图像生成等任务。它的基本原理源于扩散过程的物理概念，通过最小化去噪过程中的重建损失（通常使用均方误差）来训练模型，以使生成的图像尽可能接近真实图像，其通过模拟数据从高维空间到低维空间的逐步去噪过程，实现生成新的样本。其常用的网络架构包括UNet等，它们能够有效地处理图像生成任务，利用跳跃连接（skip connections）保留不同层次的特征信息。
大白话 | 从生成模型快速理解【扩散模型】Diffusion Model
weixin_43117620的博客
04-02 845
用大白话的形式讲解扩散模型Diffusion Model，从生成模型的角度帮助读者构建知识体系。
Diffusion Model（扩散模型）
weixin_47772355的博客
12-29 8137
Diffusion
扩散模型（Diffusion Model）简介
weixin_45657478的博客
09-25 8628
扩散模型（Diffusion Model）简介
diffusion model
AI生成式技术曾小健
05-18 196
这说明前向链是马尔可夫过程， xt 是加入t步噪音后的样本， βt 是事先给定的控制噪声进度的参数。我们首先说明改善的动机，再根据方法的特性将每个改进方向的研究进一步细化分类，从而清楚的展现方法之间的联系与区别。尽管diffusion model在各类任务中都有着优秀的表现，它仍还有自己的缺点，并有诸多研究对diffusion model进行了改善。反向链从给定的先验开始并使用参数化的高斯转换核，学习逐步恢复原数据分布。用 x0 ~ q(x0)恢复数据的分布，这样就了产生一个高度灵活且易于计算的生成模型。
PyTorch笔记 - Diffusion Model 公式推导 (1)
AGI
11-16 1096
GAN，Generative Adversarial Network，生成对抗网络Diffusion Model，扩散模型VAE，Variational Autoencoders，变分自编码器。
PyTorch笔记 - Diffusion Model 源码开发 (2)
AGI
12-05 926
流程如下： 1. 选择一个数据集 2. 确定超参数的值 3. 确定扩散过程任意时刻的采样值 4. 演示原始数据分布加噪100步后的效果 5. 编写拟合逆扩散过程高斯分布的模型 6. 编写训练的误差函数 7. 编写逆扩散采样函数(inference过程) 8. 开始训练模型，并打印loss及中间的重构效果 9. 动画演示扩散过程和逆扩散过程
DYffusion阅读笔记 “DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal Forecasting“
m0_55333280的博客
09-10 1623
动态预测是指预测动态系统未来行为的任务，设计学习控制系统演化的潜在动态，以对其未来状态做出准确的预测。高斯diffusion在正向过程中使用高斯噪声不同程度地破坏数据，然后通过反向过程对随机输入进行去噪以得到高度真实的样本。然而，在高维度上将噪声映射到真实数据十分具有挑战性，因此扩散模型的计算成本非常高。而且，扩散模型多用于静态图像，即使是能生成真实样本的video diffusion model也没有明确利用数据的时间性质来生成准确的预测。
Diffusion Model
handsomeboysk的博客
10-17 847
正向扩散过程通过逐渐添加噪声，将原始数据转换成高斯噪声。每一步的变化是通过一个条件概率公式来描述的，其中噪声的强度由βt\beta_tβt​控制，随着时间步ttt增加，噪声的占比逐渐增大。多步扩散可以通过累积噪声来直接表示，将正向扩散过程的复杂性大大简化。逆向扩散过程的核心是从噪声逐步去噪并生成数据。每一步的生成可以表示为从一个高斯分布中采样，其中均值由神经网络模型预测。通过最小化真实数据和模型预测之间的KL散度，或者直接最小化噪声预测误差，模型可以学会如何通过逐步去噪恢复出高质量的数据。
Diffusion Model （扩散模型）
qq_36372569的博客
09-27 715
参考链接：https://www.bilibili.com/video/BV1hd4y1z7zU/?
Diffusion model—扩散模型
sunningzhzh的博客
06-13 2万+
文章目录摘要一、简介二、扩散过程2.1 定义扩散过程2.2 重参数技巧得到迭代公式2.3 得到全局扩散公式2.4 扩散过程实现代码2.4.1 总结扩散公式2.4.2 代码三、逆扩散过程3.1 目标公式3.2 后验条件概率四、优化目标4.1 损失函数公式推导4.2 损失函数代码实现五、算法流程5.1 模型训练代码5.2 模型采样代码5.3 训练好的模型效果 摘要 The diffusion model is a generative model of the Encoder-Decoder architect
（简单易懂）Diffusion Model 扩散模型
qq_39214409的博客
05-02 2251
整个过程为马尔可夫过程，后一时刻的数据只受前一时刻的数据影响，根据前一时刻不断在后一时刻加入噪声。代表真实数据分布（大量图片），在此分布中采样可得到真实图片。为总步长，迭代求解很慢。​ 我们希望以加噪数据为输入，模型预测去噪后的数据表示为。为每一时刻添加的噪声（均独立同分布），令。的分布数据（去噪过程），但是噪声。​ ，去噪过程同样遵循马尔可夫过程。在反向过程中，我们想要求解。此时，得到关系式，可以通过。​ 是服从高斯分布的真实噪声。​ 替换掉，在正向过程。是神经网络预测的噪声，
Diffusion Models 扩散模型
子燕若水的博客
01-09 240
Diffusion Models 扩散模型
Diffusion Models扩散模型与深度学习(数学原理和代码解读)
热门推荐
沉迷单车的追风少年
07-14 4万+
​ 此前GANs霸占各大顶会很多年，DDPM的出现让人耳目一新！经过这两年的发展，Diffusion Models能在图像生成、超分辨率重建、点云生成、语音生成等领域达到SOTA。这篇文章旨在帮助没有了解过的读者入门，《Diffusion Models与深度学习专栏》已经写了将近三十篇文章，既有原理公式和必备基础知识的讲解，也有代码详细实战解读，还有前沿热门应用，欢迎读者订阅。
扩散模型Diffusion Model与DDPM
qq_34845880的博客
07-14 1万+
从概念上讲，这个diffusionmodel很简单，假设你有一个图片，记为X0，你每次对图像加一点噪声，加一次噪声记为Xt+1,不断对其加噪声，总共加T次以后，得到的图片基本可以说是一个噪声的图片了。最近DiffusionModel被用在于图片生成模型当中，当前很多的模型都在使用diffusionmodel作为生成范式，如GLIDE，DALLE2,Imagen，和一系列ImageEditing方法等等）但是2020年的DDPM之后，才开始逐渐火起来的，..................
扩散模型diffusion model
weixin_36378508的博客
05-13 1522
扩散模型
在个人笔记本上跑stable diffusion
01-08
### 安装和运行 Stable Diffusion 模型 #### 准备工作 为了在个人笔记本电脑上成功安装和运行 Stable Diffusion 模型，硬件需求是一个重要考量因素。建议使用的显卡型号包括但不限于 RTX 2060 (12GB)、RTX 2070 及其以上版本[^5]。 #### 软件环境搭建 对于软件环境的构建，在 Windows PC 上可以通过 Web-UI 实现本地运行 Stable Diffusion 的目标，并且这一过程不会产生额外费用[^1]。具体操作如下： 1. **获取模型文件** - 下载所需的模型文件是必不可少的一环。可以从 Hugging Face 或其他可信平台获得这些必要的模型文件，这里以 v1.5 版本作为例子说明[^2]。 2. **创建 Python 环境** 使用 Anaconda 创建一个新的虚拟环境来管理依赖项可以简化后续步骤。命令如下所示： ```bash conda create --name stable_diff python=3.9 conda activate stable_diff ``` 3. **安装依赖库** 根据官方文档或其他教程指导完成所需Python包的安装，通常涉及 PyTorch 和 torchvision 等机器学习框架以及一些辅助工具。 4. **配置Web界面** 如果选择了基于浏览器访问的方式，则需按照项目仓库中的指引设置对应的前端页面和服务端API接口之间的通信机制；这可能涉及到 Flask/Django RESTful API 开发经验。 5. **加载预训练权重** 将之前下载好的 `.ckpt` 文件放置到指定路径下以便程序能够读取并初始化网络结构参数。 ```python from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler model_id = "path_to_your_model" scheduler = EulerDiscreteSampler() pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler).to("cuda") ``` 上述代码片段展示了如何利用 `diffusers` 库快速加载自定义保存下来的 checkpoint 并将其迁移到 GPU 设备上加速计算效率[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值