SD教程|效率炸裂!Stable Diffusion 极简指令,狂产 18 万张高质量 AI 作品

本地部署Stable Diffusion教程,亲测可以安装成功 Stable Diffusion免费AI绘画软件本地电脑安装,亲测可以成功! 阅读详情

本文介绍Stable Diffusion的快速上手,本地部署,以及更多有趣的玩法展示。

在 DALL-E
2 和 Imagen
之后, AI绘图 领域又一个热乎的深度学习模型出炉—— Stable
Diffusion 。8月份发布的 Stable
Diffusion 更加高效且轻量,可以在消费级
GPU
上运行。StableAI公司表示:“它在速度和质量上的突破意味着它可以在消费者级的 GPU
上运行。这将允许研究人员和公众在一系列条件下运行它,并使图像生成普及化。”

这意味着现在你只需一句话和几十秒的时间,就可以让你脑海中天马行空的画面出现在你眼前:

image.png

或者随手画一笔,让ai帮你加“亿点点“细节:

image.png

怎么上手玩起来

前两种方式都比较简单,Colab看起来复杂,实际上一步一步按照提示来,也很简单。所以本文着重讲解本地部署的步骤和如何解决会遇到的坑。

1. **官方在线Web App - DreamStudio**
   * 👍 最易上手,登录即可直接使用
   * 👍 可视化调参
   * 😡 免费次数有限
2. **Google Colab运行**
   * 👍 免费,次数无限
   * 😥 操作略微繁琐
   * 😥 不能持久运行
3. **本地、云服务器部署**
   * 👍 本地部署免费,次数无限
   * 👍 功能完整,可玩性高
   * 😥 硬件要求高
   * 😥 租用云服务挺贵
   * 😥 初次部署较为麻烦

DreamStudio

最简单无脑的上手途径,打开官网,输入一段话,等待结果出来就可以。没啥好说的,适合快速上手体验一下,或者付费玩家。

image.png

Google Colab运行

“Colab”,是 Google Research 团队开发的一款产品。可以通过浏览器编写和执行Python。可以免费分配使用包括 GPU 在内的计算资源。

打开这个Colab笔记本页面,按照步骤和提示执行就OK了。可能存在的坑模型的载入,需要用到 Hugging
Face ,不过也都不是什么问题。

虽然看着繁琐,但是可以薅羊毛用免费的显卡资源,性能也还不错,还是很香的。

本地/云服务器部署

目前存在多个基于官方代码仓库fork出来的不同版本,可以有不同的部署和运行方式,包括docker部署,webUI。这里讲解基于官方的原版进行部署和使用,其他的方式都大同小异。

硬件

本地10G显存以上的显卡(显存不够也有其他办法),或租用拥有对应配置的云服务

环境依赖

Python,Conda

具体步骤
1. 下载模型权重文件

这个放在第一位是因为权重文件太大了,建议先下载起来,其他步骤在操作时,他可以在后台慢慢下载。

目前最新的是sd-v1-4.ckpt,版本越高,训练的数据量越大,下载最新版本即可,4.27GB

去huggingface下载:[huggingface.co/CompVis/sta…](https://link.juejin.cn/?target=https%3A%2F%2Fhuggingface.co%2FCompVis%2Fstable-
diffusion-v-1-4-original “https://huggingface.co/CompVis/stable-
diffusion-v-1-4-original”)

curl下载:

​

curl https://www.googleapis.com/storage/v1/b/aai-blog-files/o/sd-v1-4.ckpt?alt=media > sd-v1-4.ckpt

​
​

  * 1
  * 2

​

2. 安装python

dddd, 不赘述

3. 安装Conda

Conda 是一个依赖包和环境管理工具,有Anaconda 和 Miniconda两个版本,这里使用Miniconda就可以。

可以官网下载对应的安装包,也可以命令行下载安装。

如果安装成功,可以通过 conda --version 查看版本,conda准备好就可以进入下一步。

4. 拉取Stable-Diffusion代码库到本地

​

git clone https://github.com/CompVis/stable-diffusion.git
cd stable-diffusion/

​
​

  * 1
  * 2
  * 3

​

5. 创建并激活 Conda 环境

a. 创建ldm环境

进入Stable Diffusion代码目录,使用environment.yaml文件,创建Conda环境。

​

conda env create -f environment.yaml

​
​

  * 1
  * 2

​

这个命令会根据environment.yaml文件,创建一个名字叫做ldm的虚拟环境,下载对应的依赖。这一步是很容易出现问题的地方,因为依赖比较多,安装时间比较长。可能会出现某些依赖安装时间特别长,最后失败的情况。

可能出现的问题:

1. 因为过程中会用到pip安装依赖,如果安装依赖时间过长,可以在conda create执行前,先配置pip的国内镜像。根据我实际尝试的情况,建议使用清华镜像,阿里云镜像也很慢。

​

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

​
​

  * 1
  * 2

​

1. 如果出现:Pip subprocess error: ERROR: Command errored out with exit status 128: git fetch -q … 的错误,则检查当前网络环境对github的访问是否通畅。
2. 安装失败尝试再次安装时,可能出现提示环境已存在。这时候可以删掉原来的ldm环境,再重试安装。

​

# 查看已存在环境
conda env list
# 先切换到base环境
conda activate base
# 删除ldm
conda env remove --name ldm

​
​

  * 1
  * 2
  * 3
  * 4
  * 5
  * 6
  * 7

​

b. 激活ldm环境

​

conda activate ldm

​
​

  * 1
  * 2

​

6. 生成脚本跑起来!

走完前面这些步骤,确认一下你的模型权重文件下载好了没有,--ckp 参数就指向这个文件。按照下面的参数,执行txt2img.py脚本。

​

python scripts/txt2img.py --prompt "rainbow ice cream cone" --plms --ckpt sd-v1-4.ckpt --skip_grid --n_samples 1

​
​

  * 1
  * 2

​

如果执行成功,你应该可以在output文件夹内找到生成出来的彩色甜筒🍦的图片。

image.png

可能出现的问题:

  • PytorchStreamReader failed reading zip archive
    • 模型文件下载不完整,重新下载即可

尝试把 --prompt 参数换成脑洞大开的各种描述词吧。其他参数详情可以参考git主页。

除了文字生成图,还有可以玩图生图。

一些能让图像更加有趣的提示词内容建议:

  • 描述画面里想要存在的元素,物品,情绪
    • 森林,秋天,雨水,雾,苔藓,城堡,樱花,海浪,山,神庙
  • 氛围,情绪
    • 快乐,阴郁,赛博朋克,霓虹,蒸汽朋克,原子朋克
  • 画风
    • 现实,逼真, 油画, 铅笔画, 概念艺术, 超现实,魔法,幻想,中国山水
  • 艺术家
    • 达芬奇, 梵高 (油画), 莫兰,莫奈 (风景),宫崎骏与吉卜力工作室
    • Artgerm(漫画精致五官),Yuko Shimizu(插画)
  • 润色和修饰(一些神奇咒语)
    • 虚幻引擎,octane render(3D渲染), ArtStation, 8k, 4k, washed colors

image.png

Ultra realistic photo, princess peach in the mushroom kingdom, beautiful
face, intricate, highly detailed, smooth, sharp focus, art by artgerm and
greg rutkowski and alphonse mucha

😝 更多玩法
显存不够10G怎么玩

可以使用显存占用优化的版本,牺牲推理速度,以获得比原始版本更少的显存占用。可以使用2.4G显存生成512*512尺寸图片。

为了减少显存使用进行的优化:

  • 将Stable Diffusion模型分成四个部分,仅在需要时才发送到 GPU。计算完成后移回 CPU。
  • 注意力计算是分部分完成的。
接入机器翻译,让他支持中文提示词

开启web服务,接入有道翻译api,让他自动翻译输入的中文提示词,并执行图片生成。

image.png

说到中文支持,百度文心大模型发布的“ERNIE-ViLG
文生图”,最近也在开放测试,有更好的中文语境理解,更能理解你的中文梗。不过完整功能需要申请体验,参数较少,可玩性比较弱。

更有意思的图生图

除了单纯的文字作为输入生成图片,Stable
Diffusion还支持文字+图片作为输入,生成新的图片。就像最前面所展示过的,可以理解成你提供一个草图,ai根据你的要求,帮你添加亿点点细节。

这是我尝试的,使用一个简单的线条图片,加上一段描述文字:“一只耐克鞋”,所生成的结果:

image.png

如果我把他的输出再次变为输入,重复渲染,可以得到更多不同的结果。甚至可以一秒换品牌…

image.png

Stability AI 的口号是 “AI by the people, for the
people”。AI从群众中来,到群众中去。他可以单纯用来创作你天马行空的想象,也可以用作你文章的免费配图,能辅助你的工作,甚至能参赛获奖!赶快玩起来吧。

### 关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
请添加图片描述

零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

Stable Diffusion Windows本地部署超详细教程(手动+自动+整合包三种方式) 本文以Stable Diffusion为例,由难及易演示了手动、自动和整合包三种部署方式,并分析了这三种方式在虚拟环境创建、程序部署、数据下载部署等复杂动作的具体过程,为一键式自动部署提供了良好的借鉴,进一步促进AIGC的普惠应用。 阅读详情

相关推荐

Stable Diffusion 关键词入门基础-最简单

1.中文指令关键词:中国女孩,可爱的,全身,五官精致,搭配夏天的白色裙子,红色鞋子,CG渲染,逼真细节,8K,蓝天白云,森林公园,繁花簇落。1.中文关键词:中国古代男子,长发,精致的五官,穿着纯白色衣服,手里持着一把兵器,长剑,CG渲染,精细的细节,电影级效果,8K,1.中文指令关键词:中国人,少年,五官精致,全身照,电影级效果,CG渲染,逼真细节,8K,城市广场,1. 中文指令关键词:未来城市鸟瞰,蓝天白云,尖端科技大厦,街道,3D,CG渲染,逼真细节,8K,五.建筑类风格入门关键词。

xindska的博客 9670

私人定制AI绘画——快速finetune stable diffusion教程

AI创作正在逐步超越人类。

wenqiwenqi123的博客 1万+

在 Clean Core 时代吃透 ABAP Release Contracts:从 C0 到 C4 的稳定性承诺与实战选型

SAP Release Contract机制详解:ABAP开发中的稳定性保障 摘要: SAP Release Contract机制为S/4HANA开发提供了稳定性保障,通过五类契约(C0-C4)明确对象接口的稳定性承诺。C0确保扩展点稳定,C1保障系统内部接口兼容性,C2面向远程API的零改造升级。该机制配合ATC检查工具,将Clean Core理念工程化落地,有效解决了升级兼容性问题。在ABAP Cloud开发环境中,Release Contract成为硬性规则,开发者需通过Wrapper Class等方

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1147

Stable Diffusion 跑通总结

stable diffusion跑通流程记录

m0_57530926的博客 1万+

三句话,让Ai帮你画18万张图

​ 在 DALL-E 2 和 Imagen 之后,AI绘图领域又一个热乎的深度学习模型出炉——Stable Diffusion 。8月份发布的 Stable Diffusion 更加高效且轻量,可以在消费级 GPU 上运行。StableAI公司表示:“它在速度和质量上的突破意味着它可以在消费者级的 GPU 上运行。这将允许研究人员和公众在一系列条件下运行它,并使图像生成普及化。” ​

斌擎科技 1261

「0基础安装本地Hermes」本地部署Hermes|为Hermes装上UI图形界面

Hermes已经发布有一段时间了,不少小伙伴也装配上了这个Agent。相对于之前发布爆火的Openclaw,Hermes对于很多小白不是很友好,它没有属于自己的UI界面,只能在本地终端运行,前不久Github上有人发布自己的作品,让终端里的Hermes拥有属于自己的UI界面,EKKOLearnAI开发的Hermes UI界面项目为终端运行的Hermes提供了可视化操作方式,降低了使用门槛。该项目通过Web界面与本地Hermes Agent交互,实现更友好的操作体验。

qq_55438365的博客 1872

效率炸裂!Stable Diffusion 极简指令,狂产 18 万张高质量 AI 作品

StableAI公司表示:“它在速度和质量上的突破意味着它可以在消费者级的 GPU 上运行。这将允许研究人员和公众在一系列条件下运行它,并使图像生成普及化。

m0_71746299的博客 984

“风色幻想XX:交错轨迹游戏卡顿:从解决d3dx9_xx.dll缺失开始——风色幻想XX优化指南

《风色幻想XX:交错轨迹》作为一款深受玩家喜爱的角色扮演游戏,以其丰富的剧情、独特的角色设定和精美的画面赢得了广泛的赞誉。然而,在游戏过程中,部分玩家可能会遇到游戏卡顿的问题,这不仅影响了游戏体验,还可能让玩家错失精彩的剧情和战斗瞬间。在众多导致游戏卡顿的因素中,d3dx9_xx.dll文件的缺失往往是一个不容忽视的原因。

czl922的博客 1256

万字长文:Stable Diffusion 保姆级教程

万字长文,超详细一步一步教你在本地部署运行当下超火的Stable Diffusion模型,生成各种风格图像。

略懂……略懂…… 14万+

开关电源EMC整改案例-辐射骚扰

2.4.1 获得原始数据。同样的分析可以应用在差模电流的情况, 唯一不同的是, 两根导线的磁场分布是相反的, 磁 场互相抵消, 由于导线中的电流大小相等, 产生的磁场 H 大小相同, 在互相靠近的情况下, 在磁 环内的两个感应磁场大小相同、方向相反, 因此合成之后的感应磁场 B 几乎为 0,对任意一根导 线而言,相当于是一段“无感导线”,对差模电流不会产生任何抑制作用。众所周知, 共模电感的匝数越多, 感量越大, 按道 理来说对共模干扰电流的抑制也会越强烈,对抗辐射 也越有利,然而事实真的如此吗?

经营范围: CTA、SRRC、CCC、移动、电信、联通入库 3496

ArcGIS小白必看:5分钟搞定WGS_1984到Krasovsky_1940_Albers投影转换(附详细步骤)

本文为ArcGIS初学者提供了从WGS_1984地理坐标系转换到Krasovsky_1940_Albers投影坐标系的详细实战指南。文章深入剖析了投影变换与基准面转换的核心区别,通过分步详解创建自定义地理变换、执行投影等关键操作,并附带了常见问题排查与批量处理脚本,旨在帮助用户高效、准确地完成坐标系统转换,为后续空间分析奠定基础。

weixin_29305337的博客 634

Stable Diffusion Webui 本地部署【踩坑记录】

本地部署 stable diffusion 别一开始就直接运行 webui.bat , 因为网络问题 会出现各种问题。

1561

YOLOv11改进 | 损失函数改进篇 | 2024最新高质量的目标检测边界框回归损失Unified-IoU、FocalUIoU、FocalInvUIoU(设置动态epoch参数)

本文给大家带来的改进机制是最近新提出的高质量的目标检测边界框回归损失,其通过动态调整模型对不同质量预测框的关注,优化目标检测中的边界框回归精度。UIoU引入了FocalBox方法,通过缩放预测框与真实框分配权重,并采用了退火策略(引入动态参数epoch),逐渐将模型的注意力从低质量预测框转移到高质量预测框,平衡了训练速度与检测精度。其还有一定的解决样本不平衡问题,同时该损失函数可以和现有的任何边界框回归损失函数进行结合,例如ShapeIoU和其结合可以形成二次创新,它是一种类似于之前的Inner的机制.

Snu77的博客 4584

Stable Diffusion本地部署教程

本文详细介绍了如何在Windows 10环境下安装Stable Diffusion,一种用于AI绘图和图像修复的文本-图像扩散模型。安装过程包括准备阶段、Python和Git的安装、以及从GitHub拉取项目到本地。文章强调了安装前的准备工作,如具备一定的技术知识、确保电脑配置(如内存、显卡、硬盘空间)满足要求,以及稳定的网络连接。安装步骤包括下载并安装Python 3.10.6和Git,然后通过Git命令行拉取Stable Diffusion项目到本地。文章还提供了解决常见网络问题的建议,如配置Git的H

weixin_55154866的博客 3002

ComfyUI整合包、秋叶ComfyUI、Florence节点报错下载并加载Florence2模型No module named ‘timm.layers‘、ComfyUI报错解决

步骤操作1打开2地址栏输入cmd并回车3输入命令:4安装完成后重新打开 ComfyUI,执行工作流,即可解决报错。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1240

【YOLOv10改进[Backbone]】使用ADNet改进YOLOv10在噪声干扰下的目标检测效果(图像去噪)+ 含全部代码和详细修改方式 + 手撕结构图 + 全网首发

使用ADNet改进YOLOv10在噪声干扰下的目标检测效果(图像去噪)+ 含全部代码和详细修改方式 + 手撕结构图 + 全网首发 + 遥遥领先

静谧、淡雅 2857

立省千元!Google Colab上的Stable Diffusion安装教程

只需要在 Google Colab 上安装 Stable Diffusion,就可以在云端运行程序,并且免费获得 16G 的显存。这不仅可以帮你提高计算速度,还可以节省大量的时间和几千元购买GPU的费用。。

lb5482464的博客 3503

Ollama系列---【ollama使用gpu运行大模型】

一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意:CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址:https://developer.nvidia.com/cuda-toolkit-archive 下载好之后,一路下一步,一直默认即可。 如果安装到了自定义的位置,记得加环...

-少年-的博客 7982

Stable Diffusion安装指南(win+Mac双版本安装包)

Stable Diffusion是一个文本到图像的潜在扩散模型,由CompVis、StabilityAI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型,可以生成包括人脸在内的任何图像,因为有开源的预训练模型,所以我们也可以在自己的机器上运行它。

m0_58477260的博客 1782

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

重磅!Stable Diffusion 3.0正式开源!史上最强AI绘画模型!(附安装方法和下载地址)

正如承诺的那样,Stability AI在6月12日正式开源了Stable Diffusion 3(Medium版本)!不愧是AI生图领域的“开源英雄”。接下来就讲讲,怎么在本地部署最新的Stable Diffusion 3,大致分为以下几步

白帽阿叁的博客 6184

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Stable Diffusion 本地部署教程

最近看Stable Diffusion开源了,据说比Disco Diffusion更快,于是从git上拉取了项目尝试本地部署了,记录分享一下过程~这里是官网介绍:https://stability.ai/blog/stable-diffusion-public-release。

ellija的博客 199万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

stable diffusion教程,详细版,包括解决各种问题

stable diffusion教程,详细版,包括解决各种问题

xiaoxiongxia的博客 5878

stable diffusion代码学习笔记

其实就是log(1-alpha(右下角t)(头上直线)),没有带prev的都是当前时刻t,带prev的是前一时刻t-1。得到了上一刻的噪声图片x_prev后(也就是函数返回的img),继续迭代,最终生成需要的图片。另外,还有一些参数是训练时候保存的,betas逐渐增大,用来控制噪声的强度。这部分代码应该就是PLMS加速采样用的,论文中有公式推理。

qq_33596242的博客 2171

【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models

SD主体结构如下图所示,主要包括三个模型:autoencoder:encoder将图像压缩到latent空间,而decoder将latent解码为图像;CLIP text encoder:提取输入text的text embeddings,通过cross attention方式送入扩散模型的UNet中作为condition;UNet:扩散模型的主体,用来实现文本引导下的latent生成。

进一寸有一寸的欢喜 5万+
上一篇: 【comfyui教程】Comfyui的基本工作流的搭建----文生图+图生图
下一篇: SD教程| SD 图像融合实战指南:深度拆解蒙版重绘与 CN 局部重绘,重塑人物写真质感
网络安全-XG
博客等级 码龄5年 1万+粉丝 2752原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值