【低显存】 diffusion 爆显存的解决方法

最新推荐文章于 2025-02-14 17:21:11 发布
最新推荐文章于 2025-02-14 17:21:11 发布
阅读量2.6k 收藏 11
点赞数 9
分类专栏： Diffusion 文章标签： pytorch stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/prinTao/article/details/136517437
版权
本文介绍了如何在深度学习模型中使用latentdiffusion技术，包括如何加载预训练组件、使用AutoencoderKL和UniPCMultistepScheduler进行编码和调度，以及如何通过autocast实现低精度训练以提高内存效率。此外，还提供了关于半精度训练适用场景的建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 降低分辨率
  2. 降低通道数
  3. 使用latent diffusion，例如stable
  4. 使用低精度训练

下面将分别讲解如何使用这些方法。

使用latent diffusion

目前的主流模型都用了encoder降低中间层resolution，但是有一些比较老的工作，比如sr3，还是老架构。GitHub上有很多改进的工作，可以找找看。不想换的话，只需要配置好diffusers库，然后：
使用图像的低维表示而不是实际的像素空间，这使得它的内存效率更高。编码器将图像压缩为更小的表示，解码器将压缩的表示转换回图像。对于文本到图像模型，您需要一个分词器和一个编码器来生成文本嵌入。SD具有三个独立的预训练模型。

使用**from_pretrained()方法加载所有这些组件。您可以在预训练[runwayml/stable-diffusion-v1-5](https://huggingface.co/runwayml/stable-diffusion-v1-5)**检查点中找到它们，每个组件都存储在单独的子文件夹中

from PIL import Image
import torch
最低0.47元/天 解锁文章
Stable Diffusion WebUI内存不够爆CUDA Out of memory怎么办？
满目星辰
09-11 1万+
在我们运行SD的时候，我们经常会爆CUDA Out of memory。我们应该怎么办呢？这是因为我们的显存或者内存不够了。如果你是用cpu来跑图的则表示内存不够，这个时候就需要换个大点的内存了。如果你是用gpu来跑图的就说明你显存不够用咯，这时候咋办呢？下面我将一一述说解决办法。请用心看完，别随便看看就不看了，否则你会丢失一个重大的宝藏。
显存提醒插件，妈妈再也不用担心我的Stable Diffusion爆显存了
A1353192296的博客
02-15 988
大家在使用Stable Diffusion绘画的过程中，尤其是小显存用户，经常会出现眼睁睁的看着图就要出来了，突然眼前一黑。然后图消失了，下面出现几行小字，大致意思是显存用光了。这就是所谓的爆显存。我们很难记得具体多少尺寸跑多少张图会爆显存，这种突如其来的“惊喜”，让很多爱好者很无奈。有没有办法呢？我找到了一个在生成图片之前就能显示显存使用比例的插件，可以基本杜绝爆显存的情况。这个插件叫VRAM Estimator。
Stable Diffusion低显存也能跑大图了，再也不用怕爆显存！
WANGJUNAIJIAO的博客
07-05 8139
Stable Diffusion（以下简称SD）是一款很强大的AI绘画软件，很多人都会拿SD和MJ（Midjourney）作对比，其中最重要的一点就是使用门槛上，SD需要最低也是4GB的显存，如果显存低了是没办法获得很好的体验的，最佳的配置是12-24GB 基本上所有的功能都能用。现在pkuliyi2015大佬开发了一个免费插件Tiled Diffusion（插件安装目录文件夹：extensions），可以大幅度减少SD生图所需的显存，其工作原理就是将一张图不同的块，通过连续生成图块，然后再合并成一张图，
妈妈再也不用担心我的Stable Diffusion爆显存了！SD显存提醒插件你值得拥有！
A1353192296的博客
10-21 1354
大家在使用Stable Diffusion绘画的过程中，尤其是小显存用户，经常会出现眼睁睁的看着图就要出来了，突然眼前一黑。然后图消失了，下面出现几行小字，大致意思是显存用光了。这就是所谓的爆显存。我们很难记得具体多少尺寸跑多少张图会爆显存，这种突如其来的“惊喜”，让很多AI绘画爱好者很无奈。
stable diffusion 的 GPU 不足怎么解决
m0_57448314的博客
03-27 3023
例如，可以使用近似算法或者采样技术来减少计算量，或者使用稀疏矩阵等数据结构来减少内存占用。4. 使用更高性能的GPU：如果GPU不足以处理大规模图像，可以考虑使用更高性能的GPU。例如，使用具有更多CUDA核心或更大显存的GPU。2. 并行计算：利用GPU的并行计算能力，可以将图像分成多个块，并同时在多个GPU核心上进行计算。5. 分布式计算：如果单个GPU无法满足需求，可以考虑使用多个GPU进行分布式计算。，可以减少GPU的计算负载。这可以通过缩小图像尺寸或者使用图像金字塔等技术来实现。
【SD零基础教】Stable Diffusion显存不足如何解决？
2401_84815950的博客
02-14 1242
Stable Diffusion是一款功能强大的AI绘画工具，但其对显存的需求较高，这使得许多用户在使用过程中遇到了显存不足的问题。
Stable Diffusion WebUI 笔记本低显存无魔法本地安装使用（四）--- 安装和启动Stable Diffusion WebUI
smnzg的专栏
03-15 808
当然，不使用git也可以，可以从github上下载zip包，然后放到对应的地方安装和使用这边就不说了，说下如何提高下载稳定性主要的方法是查到github的相关的地址对应的ip，然后再hosts中维护。hosts文件所在路径：C:\Windows\System32\drivers\etc\
stable-diffusion-webui RAM内存泄漏问题
weixin_43452189的博客
05-24 1990
在一些复杂的应用中，在代码路径的某些地方可能没有正确释放内存。webui在切换模型时，会先check内存中是否有加载过此模型，如果有则直接从内存中读取，没有就去磁盘中加载，并且判断已加载模型数量是否大于checkpoint_limit,不满足则会在下次切换其他模型时将此模型权重加载到内存中（send_to_cpu()）。一句话总结就是，webui在切换模型时，工程师偷懒了，并没有考虑在内存频繁读取和分配时做好垃圾回收和释放，导致重复向内存中写入模型权重，他们估计也发现了这个问题，怎么解决呢？
AI绘画Stable Diffusion整合包安装教程你值得拥有！我不允许你还不会！
A13531922961的博客
05-05 1327
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
stable-diffusion | v1-5-pruned.ckpt和v1-5-pruned-emaonly.ckpt的区别
ASKCOS博客
02-04 8015
对于日常生成，我们只要了解这样一个事实就行了：如果只是生成，EMA模型和标准模型的效果是一样的。如果你要做二次训练，并且显卡够好，选择带EMA的模型可能更好，因为所有数据都在；VAE模型：用于图像在像素空间和潜在空间的映射，生成图片时将图像从潜在空间转换为像素图片，目前大部分模型都自带VAE。标准模型：生成图片的核心模块，潜空间中的前向扩散和反向扩散就是通过它做的，对应到图中左侧的 U-Net。对于 1.5 模型，其中可能包括四部分：标准模型、文本编码器、VAE模型、EMA模型。
最新Stable Diffusion整合包安装，全新加速、解压即用、防爆显存三分钟入门
weixin_55154866的博客
06-27 940
Stable Diffusion出来已经很长一段时间了，网上其实已经有很多很多教程教如何安装了，但是由于网上太多的教程，也不知道哪个更好，且有的伙伴可能也是没找到合适的，也有的伙伴暂时还没找到。 在Stable Diffusion刚出来不久，我也尝试了多种安装方式，也有试过google colab、腾讯云一键安装脚本部署、以及网上的一些其他教程，总体来说，感觉还是秋叶大神的一键安装包更加适合小白一些。
3G显存也能跑Stable Diffussion了
jayecho的博客
05-09 1488
只要给定足够的提示词和反推提示词就行了。这是我找了civi上面的一些prompt随机生成的，感兴趣的小伙伴可以自己试试，如果自己的电脑配置可以，那生图效率会更高,分辨率也能更高！之前出了ubuntu的安装教程，想自己笔记本也试下，不得不说很辛酸，昨晚历时3个小时终于跑起来了，显卡都跑满了，但是效果很哇塞哈哈。欢迎大家关注本公众号(猫说AI)，公众号接入了chatgpt最新3.5模型，会持续分享更多免费教程！注意，如果你的机器Gpu内存跟我一样小于6G的话，建议安装xformers并且开启低内存模式。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 4922
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
stable diffusion节省VRAM技巧
Yiming0108的博客
03-22 672
挖了一下ControlNet的代码，发现了他写了一个ddim_hacked.py和hack.py，对比发现ddim_hacked.py和ddim.py相比，只是把classifier-free guidance sampling中的unconditional和conditional的部分分开做了两次，而不是concat在一起过一次模型，然后chunk开了，刚开始没想明白这么做的意义，后来看到hack.py文件，明白了都是为了省显存。hack.py中用的了。
算力成本骤降，Stable Diffusion2.0迎来更大爆发？
idol24的博客
01-05 3874
明敏 发自 凹非寺 量子位 | 公众号 QbitAI从AI画画到NLP大模型，AIGC的落地成本被一次性打下来了！话不多说，直接看结果：Stable Diffusion 2.0训练/微调/推理，显存消耗最多可节省5.6倍，使硬件成本直降至1/46，一行代码即可启用；1750亿参数大模型BLOOM单机推理，显存消耗节省4倍，硬件成本直降至十几分之一。一行代码实现自动搜索最佳并行策略，显著降低分布式...
Stable Diffusion背后公司估值攀升至69亿，据项目发布仅过去一个月
zandaoguang的博客
09-10 429
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达明敏 发自 凹非寺量子位 | 公众号 QbitAI在Stable Diffusion以“免费开源”爆火AI画画圈后，背后公司的估值快速攀升到了10亿美元（约合人民币69亿）。知情人士透露，Stability AI正在筹备一轮融资，金额为1亿美元（约合人民币6.9亿元）。在此之前，它们才以1亿美元估值，通过SAFE票据至少融资了10...
训练diffusion model时爆显存
最新发布
03-23
### 解决扩散模型训练时显存不足的方法 当面对扩散模型（Diffusion Model）训练过程中显存不足的问题时，可以考虑以下几种解决方案： #### 1. 使用梯度累积 (Gradient Accumulation) 通过减少每次迭代中的批量大小并积累多个小批次的梯度来模拟大批次的效果。这种方法可以在不增加显存消耗的情况下有效利用更多的数据样本。 ```python accumulation_steps = 4 # 假设我们将原始batch size分为4个小batch optimizer.zero_grad() for i, data in enumerate(dataloader): outputs = model(data) loss = criterion(outputs, labels) loss = loss / accumulation_steps loss.backward() if (i + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad() ``` 此技术能够显著降低单次前向传播所需的显存量[^1]。 #### 2. 应用混合精度训练 (Mixed Precision Training) 采用半精度浮点数（FP16）代替全精度浮点数（FP32），从而减小张量尺寸以及相应的激活值和权重存储需求。现代深度学习框架如PyTorch提供了自动混合精度工具`torch.cuda.amp`简化这一过程。 ```python from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() for data, target in dataloader: optimizer.zero_grad() with autocast(): output = model(data) loss = loss_fn(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` 上述代码片段展示了如何启用自动混合精度模式以节省GPU资源的同时维持数值稳定性[^2]。 #### 3. 实现滑动窗口机制 (Sliding Window Mechanism) 对于大型输入图片或者序列长度较长的任务来说，引入局部注意力机制或分块处理策略是非常有效的手段之一。正如Swintormer所提出的那样，在特定区域内部执行自注意操作而不是全局范围内进行计算，极大地减少了内存占用。 例如，如果原图被划分为若干个重叠的小patch，则只需依次加载这些子部分进入神经网络即可完成整个流程而无需一次性读取整幅图像入卡. #### 4. 调整模型架构参数规模 适当缩小模型宽度(即隐藏层单元数量)，层数或者其他超参设定也是缓解硬件瓶颈的重要途径。比如减少transformer layers的数量或是dim_feedforward维度等都可以带来不同程度上的益处. 综上所述，以上提到的技术均可单独应用亦可组合起来共同应对diffusion models training期间遇到out-of-memory挑战的情况.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值