Stable Diffusion 详解

已于 2024-04-17 21:34:57 修改
阅读量763 收藏 8
点赞数 13
分类专栏： Diffusion Model 文章标签： stable diffusion
于 2024-03-10 13:55:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013308709/article/details/136599815
版权
本文探讨了使用CLIP的文本编码器和图片生成器构建图像生成模型的过程，涉及UNet在噪声处理和逆向扩散中的应用。通过前向和逆向扩散策略，文章详细介绍了如何利用模型预测生成图像，以及改进版的UNet在模型中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

整体目标

  • 文本生成图片；文本+图片生成图片
    在这里插入图片描述

网络结构

  • CLIP的文本编码器和图片生成器组成在这里插入图片描述
  • 图像生成器，输入是噪声经过UNet得到图像特征，最后解码得到图像
    在这里插入图片描述
    在这里插入图片描述

前向扩散

在这里插入图片描述
在这里插入图片描述

  • 模型直接预测图片难度比较大，所有让模型预测噪音然后输入-噪音可得到原图
    在这里插入图片描述

逆向扩散

在这里插入图片描述

预测模型UNet

在这里插入图片描述

  • 改进后的UNet
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

代码讲解

参考链接

Stable Diffusion之最全详解图解
DFCED的博客
02-14 2万+
Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的转变。它是一种潜在扩散模型，由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。它是由初创公司StabilityAI、CompVis与Runway合作开发，并得到EleutherAI和LAION的支持。截至2022年10月，StabilityAI筹集了1.01亿美元的资金。
Stable Diffusion 超详细讲解
热门推荐
略懂……略懂……
06-03 3万+
本文将在《Stable Diffusion原理详解》和《Diffusion Model 深入剖析》这两篇文章的基础上，进一步细致地讲解 Stable Diffusion 的算法原理。
Stable Diffusion Webui源码剖析
benben044的专栏
08-11 7242
遍历callback_map['callbacks_model_loaded']所有的回调函数，然后把sd_model模型传进去依次执行这些回调函数。接着用OmegaConf.load加载yaml文件，然后通过/data/work/xiehao/stable-diffusion-webui/repositories/stable-diffusion-stability-ai/ldm/util.py(82)instantiate_from_config()加载yaml信息获得model。
保姆级讲解 Stable Diffusion
WGS.
04-03 1849
保姆级讲解 Stable Diffusion
十分钟读懂Stable Diffusion运行原理
weixin_40920183的博客
05-12 9350
作者：symonAIGC 热潮正猛烈地席卷开来，可以说 Stable Diffusion 开源发布把 AI 图像生成提高了全新高度，特别是 ControlNet 和 T2I-Adapter 控制模块的提出进一步提高生成可控性，也在逐渐改变一部分行业的生产模式。惊艳其出色表现，也不禁好奇其背后技术。本文整理了一些学习过程中记录的技术内容，主要包括 Stable Diffusion 技术运行机制，希望...
Stable Diffusion详解
suqieer的博客
05-17 1646
定义UNet模型，用于逐步去噪图像。# 定义UNet的各个层次nn.ReLU(),nn.ReLU()nn.ReLU(),nn.Tanh()return x。
stable diffusion 详解
02-19
### Stable Diffusion 模型详解 #### 一、模型概述 Stable Diffusion 是一种基于扩散过程的生成模型，其核心思想源自于去噪扩散概率模型 (Denoising Diffusion Probabilistic Models, DDPM)[^1]。该类模型通过逐步...
全网最全讲解Stable Diffusion原理，小白也能看懂！
月流霜的专栏
05-09 492
如果不解释无分类器引导（Classifier-Free Guidance，CFG），这篇文章将是不完整的，这是AI艺术家每天调来调去的值。要了解它是什么，我们需要首先触及它的前身，分类器引导（Classifier Guidance）。
24年最新Stable Diffusion之最全详解图解
2401_84760322的博客
09-23 2425
1. Stable Diffusion介绍1.1 研究背景1.2 学术名词2.Stable Diffusion原理解析2.1 技术架构2.2 原理介绍扩散过程3.1 Diffusion前向过程3.2 Diffusion逆向（推断）过程Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的转变。
Stable Diffusion入门指南（看完必会）超全面
2401_84815887的博客
06-15 1822
1. Stable Diffusion 是如何诞生的下面，我再为大家介绍下 Stable Diffusion 的发展历程，有助于你更深层次的了解这款 AI 绘画工具。如今提到 Stable Diffusion，就不得不提 Stability AI，这家独角兽公司在去年以十亿美元的估值一跃成为这过去半年中 AIGC 行业的黑马。Stable 这个词其实是源于其背后的赞助公司 Stability。
Stable Diffusion完整入门指南，保姆级教程！干货满满，建议收藏！
m0_59235945的博客
08-11 8884
这里分为三个部分：1. 提示词 2. 符号的使用 3. 图像的输出1. 提示词提示词分为正向和反向的生成图像时，我们可以使用正向提示词来指定想要生成的图像。正向提示词可以是脑子里想到的图片或一句话，将其拆分成不同的关键词，并用逗号隔开作为输入。需要注意的是，相同的指令在不同的模型库和参数下，生成的输出图像可能会不一样。此外，提示词的顺序也非常重要，因为它们的顺序会影响到生成图像的权重。通常情况下，越靠前的提示词权重越大，越靠后的提示词权重越小。
Stable Diffusion~0
whaosoft143ai的博客
10-16 121
看看会出来什么样的图片。不出意料，纯噪声本身没有任何有效信息，解码出来的图片也会是纯噪声，如下图左侧所示。而最后的去噪隐变量由于已经耦合了语义信息，因此最后解码出来的也是一张包含语义信息的有效图片，如下图右侧图片所示。刚才我们也提到过，扩散过程是一个。 whaosoft aiot http://143ai.com 如果你成功地看到了这里，那么首先要恭喜你看完了这共计一万字的大长文。希望这篇文章能够给你一个基本的直觉，让你明白Stable Diffusion是怎么工作的。事实上，还有很多其他的模块或者是细
Stable Diffusion原理详解
略懂……略懂……
03-01 2万+
本文向大家介绍了图像生成领域最前沿的Stable Diffusion模型。本质上Stable Diffusion属于潜在扩散模型(Latent Diffusion Model)。潜在扩散模型在生成细节丰富的不同背景的高分辨率图像方面非常稳健，同时还保留了图像的语义结构。 因此，潜在扩散模型是图像生成即深度学习领域的一项重大进步。
实践教程｜StableDiffusion图像生成能力一探！附Int8量化教程与ONNX导出推理
idol24的博客
09-15 3137
作者丨林大佬@知乎编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/561181890最近stablediffusion大火，但很多人都只是吃瓜，最多也就是在huggingface网站上试一下，这其实并不够，作为一个富有商业嗅觉的AI从业者，我嗅探到的更多的是他的商业能力，不得不说，现在生成类的AI模型，已经越来越来接近甚至超越人类水平。今天就来一探究竟，看看Sta...
AI创作教程之什么是Stable Diffusion？
iCloudEnd的博客
10-13 6483
扩散模型Diffusion Models (DM)自过去一段时间以来一直很受欢迎，因为生成图像的质量简直令人惊叹，击败了其他生成模型，例如 GAN、VAE、自回归模型等。但是使用 DM 的瓶颈，即产生样本的采样速度也就是推理时间是值得考虑的。Stability AI 公司处理相同的问题并产生更高质量的图像，提出了潜在扩散模型的想法，该想法在 2022 年 CVPR 会议上被接受，随后预训练的模型权重被公开用于建设性目的。在这篇博文中，我将从架构的角度更多地讨论 LDM，并会提到一些与 DM 的比较。
ARM架构推理Stable Diffusiond
最新发布
wanghan0526的博客
06-03 845
默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释。# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释。Ubuntu 20.04 focal 版本（适合 ARM 64）Ubuntu 22.04 jammy 版本（适合 ARM 64）# Docker 镜像源（arm64）# Docker 镜像源（arm64）仅使用 CPU 运行。使用 CUDA 运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值