【stable diffusion教程】小白的第一本Stable Diffusion入门手册

关注

原创最新推荐文章于 2026-03-08 06:11:24 发布 1k 阅读 AI 写同款· GEO 优化 ›

全网最全Stable Diffusion教程及实践 Stable Diffusion: 开创性的文本到图像生成模型 Stable Diffusion 是一款开创性的文本到图像生成模型,由 Stability AI 公司于 2022 年推出。它基于 Latent Diffusion 架构,利用大规模的无监督图像数据进行预训练,能够根据文本描述生成高质量、逼真的图像。 Stable Diffusion 的核心创新在于其强大的生成能力和较小的模型体积。相比于此前的 GAN 和 VAE 等生成模型阅读详情

前言

小白的第一本AI修炼入门手册

1	AI图片生成——凝固的梦幻瞬间
2	AI视频生成——流动的视觉诗篇
3	AI应用案例——创新的实践探索
4	AI变现途径——让AI为你赚钱

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

AI有多重要？

现阶段，AIGC（人工智能生成内容）领域主要有两大热门趋势，一是以ChatGPT为代表的大语言模型，二是以Stable Diffusion为典型代表的图像生成技术。

Stable Diffusion因其开源免费的特性和高度灵活的定制性而备受青睐，尤其吸引那些热衷于探索和创新的人群。在互联网大厂中，AIGC 已经展现出强大的应用潜力。无论是内容创作、智能客服，还是数据分析、代码生成，AIGC 都大显身手。

此外，众多科技企业也在积极孵化 AIGC 项目，互联网巨头纷纷推出相关高薪岗位，不论是技术还是产品、运营、设计，争相占领这一技术高地。

（boss直聘AIGC相关高薪岗位）

在AI绘图领域，**Stable Diffusion以其强大的图像生成能力，以及开源免费的特点，迅速发展了强大的模型和插件生态，其WebUI项目GitHub Star数高达14万。**国内外众多互联网厂商基于SD发展了强大的插件生态，诸如腾讯AI实验室的风格迁移插件IPAdapter、阿里的艺术照写真插件EasyPhoto、小红书的人脸一致性保持方案InstantID、Stability AI 推出的开源视频生成模型Stable Video Diffusion、港中文推出的动画视频插件AnimateDiff。

Stable Diffusion 拥有惊人的图像生成能力，能够根据输入的描述或条件，快速生成高质量、富有创意的图像。这对于设计、广告、自媒体创作等需要大量图像素材的工作，是巨大的福音。在商业应用上，也是一场巨大的生产力变革。在电商领域，它可以快速生成商品展示图；在教育行业，它能为教学资料提供丰富插图；在影视制作中，它能够创造出精彩的图片及视频特效。它不仅极大地提高了工作效率，还节省了时间和成本。未来，这项技术将进一步打通内容创作的边界，开启数字时代的新篇章。

在这个时代，AI的重要性就不用多说了吧？

让我们紧跟时代步伐，充分挖掘 AIGC 的潜力，尤其是 Stable Diffusion 的强大功能，共同迎接这个充满无限可能的智能新时代！

接下来让我们看看经过一年多的发展，Stable Diffusion能做些什么?

1. 图片生成——凝固的梦幻瞬间

1.1 基础文生图：文字绘梦

Stable Diffusion 最基本的用法是文本转图像 (Txt2img)，文生图的能力已经到令人惊叹的程度了，以下是一些示例。

**例1：**输入“Astronaut Riding a Horse” ，即可生成如下图像

**例2：**输入“a dark-armored warrior with ornate golden details, cloaked in a flowing black cape, wielding a radiant, fiery sword, standing amidst an ominous cloudy backdrop with dramatic lighting, exuding a menacing, powerful presence.”

**例3：**输入“amazing quality, masterpiece, best quality, hyper detailed, ultra detailed, UHD, perfect anatomy, magic world, (kitten and fish:1.4), fish in the air, spell magic to get fresh fish as food,( fish jumping from magic book:1.3), energy flow, a full body of a cute kitten, kawaii, wearing witches robe, witches hat, holding magic book, magic book on one hand, spell magic.”

例4：“photo of a girl, cinematic film still, full plate armor.”

**例5：**输入”anime adorable cyberpunk robot chef :: by artists”

以下是Stability官网出的更多例图

1.2 基础图生图：图像新生

如果你拥有一张喜爱的图片，却期望为其赋予崭新的风格或元素？那就让图片重焕生机，无论是将风景图幻化为梦幻仙境，还是把人物照转变成艺术画作。

图像生成图像（img2img）通过借助Stable Diffusion的图生图重绘功能，能够把一张图像成功转变为另一张图像。

**例1：**通过重绘功能，成功地将太阳镜添加到原始图像中

**例2：**在图像中添加飞翔的鸟

**例3：**通过Controlnet的Depth（深度图），可以保持图像大致结构的情况下，重新绘制近似风格的图像。

**例4：**通过Controlnet的Openpose（骨骼图），可以保持人物姿势一致的前提下，生成各种风格的图片。

2 视频生成——流动的视觉诗篇

StableDiffusion视频生成主要分为文生视频和图生视频，相关的插件普遍能生成3-15秒，效果较好的有AnimateDiff、generative-models、Moore AnimateAnyone等，普遍能生成3-15秒，20-40帧/秒的视频。

“文生视频”顾名思义就是输入一段描述性文字，即可生成一段视频，“图生视频”即输入一个参考图，再通过描述性文字调整，参考某个视频，创造出另一个视频。

**例1：**使用AnimateDiff，提示词输入“b&w photo of 42 y.o man in black clothes, bald, face, half body, body, high detailed skin, skin pores, coastline, overcast weather, wind, waves, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3“即可

更多示例如下：

**例2：**利用Moore-AnimateAnyone插件，提供一张图片和参考骨骼图，就能让图片动起来。

由OpenAI 开发的首个文生视频模型Sora，能够根据文本指令创建长达60秒的视频，从效果上看是目前最强的视频模型之一。

**例：**输入提示词“ A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears ablack leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She.”

3 应用案例——创新的实践探索

3.1 真人转动漫/动漫转真人

想体验二次元与现实世界的奇妙转换吗？通过InstantID+IPAdapter方案，可以实现真人转动漫，动漫转真人，真人转动漫能让你瞬间成为动漫中的角色，而动漫转真人服务则能让你喜爱的动漫形象走进现实。

3.2 模特着装

在多语言、多时区、多审美的环境下，推广成本会成倍增加。在广告方面，对于面向多个国家用户的跨境电商，往往需要聘请多个国家的模特，针对不同国家量身打造营销形象、方案，并结合客户画像，分别进行拍摄和后期处理，这使得营销素材的生成成本更高且耗时。可以通过Stable Diffusion的人物重绘或者虚拟试衣解决上述痛点。
在这里插入图片描述

在这里插入图片描述

3.3 线稿上色

通过使用正负提示生成黑白线条图（也可以自己绘制或上传现有的线条图），再使用ControlNet插件，上传生成的黑白线图，点击Enable，选择Control Type canny，即可生成如下效果。

3.4 人脸复刻

基于Stable Diffusion的人脸复刻方案，一种方式是训练人脸Lora，另一种方式是通过人脸一致性插件，诸如InstanID、IpAdapter等方案。巨石强森为例

通过Lora训练，可以生成如下图像

在这里插入图片描述

3.5 智能打光

基于Stable Diffusion的衍生插件IC-Light，是一个光照控制项目，目前支持通过文本和背景图对前景内容进行照明控制，智能调整图像光影。

示例如下：

3.6 海报设计

你还在用P图做海报吗？聪明的设计师早已将AI运用到工作中了！Stable 甚至能生成电影级海报！

在这里插入图片描述

3.7 产品设计

在这里插入图片描述

3.8 创意灵感激发 &辅助设计工作

Stable Diffusion可以帮助从事服装设计、饰品和鞋子设计的人们寻找新的创意灵感，创造出独特的产品。还可为设计师提供创作的灵感和参考，帮助他们更好地表达自己的创意。

3.9 图像修复和增强

不完美的图片可以通过Stable Diffusion得以拯救，有非常多的高清修复算法和模型可供选择，不仅可以将低质量或受损的图像变得更加清晰和逼真，还可以黑白照片变成彩色照片。不论是手抖拍糊的照片，还是童年儿时回忆，亦或是父母老照片修复，都可以让AI唤醒尘封的记忆。

3.10 风格转换

Stable Diffusion还能够将图像转化为不同的艺术风格，如印象派、涂鸦等。这为艺术家和设计师提供了一种有趣的方式，可以将图像赋予新的视觉感受。

4 AI变现途径——让AI为你赚钱

学了这么多，总要来点实际的！

4.1. 老旧照片修复

无论是儿时老照片，年迈父母年轻时影像，还是手抖拍糊的照片，亦或是低分辨率图片，以往都需要精通PS的专业人员进行修复和高清放大。而今使用StableDiffusion的高清修复功能就能轻松实现这一点，可以自动修复损坏、消除模糊、恢复褪色的颜色和细节，将旧照片变成新照片。利用这项技术，封装成一项服务，挂到淘宝或小红书进行合理的收费。

4.2 艺术字创作

在品牌标识、创意海报还是个性装饰等领域，往往都需要艺术字让文字成为视觉焦点，如果用传统的PS方式，需要繁琐的细节设计，而通过Stable Diffusion的Img2img重绘再叠加ControlNet深度图控制即可实现很酷的艺术字效果。这个功能可以封装成艺术字设计服务，主题和风格，打造出与众不同的隐藏艺术字。

4.3 四维彩超宝宝长相预测

好奇宝宝出生后的模样？Stable Diffusion可以依据四维彩超图像预测宝宝的长相，提前揭开这份神秘的面纱，更早地与未来的宝贝相见。通过Depth ControlNet + img2img再搭配合适的模型和提示词即可实现，淘宝已经有人在做这件事了。

4.4 红包封面

无论是春节等传统节日给亲朋好友的红包祝福，还是纪念日给对象的专属红包，亦或是给好友的婚礼祝福红包，很多人都渴望拥有专属的红包封面，以使祝福更独特、更个性化。通过灵活使用 Stable DIffusion ，能够设计出别具一格的红包封面，让红包在众多红包中脱颖而出。这种红包封面既可以自己使用，也可以在淘宝、小红书等平台打包售卖。龙年春节，有非常多的人在小红书、淘宝、微信社群售卖龙年专属红包封面，这是一个庞大的市场，尤其是在春节期间。

4.5 真人电子 AI 写真定制

目前基于Stable Diffusion衍生出了一些列人脸一致性保持方案，例如小红书推出的InstanID和腾讯推出的IPAdapter，可以在保证人脸相似性的情况下，生成各种风格的写真。这项技术也可以包装成一项服务，实现从服装搭配到场景设定的DIY定制化设计。

4.6 风格转换定制

Stable Diffusion可以实现各种风格的转换，以近些年爆火的赛博朋克(赛博朋克的风格主线，就是反映出科技高度发展的人类文明，与脆弱渺小的人类个体之间的强烈反差，同时外界与内在，钢铁与肉体，过去与未来，现实与虚幻等矛盾在其中交织。看似对立，宿命却链接在一起)。这种与现实的反差与对立，是许多新潮的年轻人喜欢的风格。