学会 Stable Diffusion 后怎么用？

最新推荐文章于 2024-09-20 14:07:30 发布

原创最新推荐文章于 2024-09-20 14:07:30 发布 · 1k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#stable diffusion #人工智能 #AIGC #AI作画 #midjourney

本文介绍了如何在实际工作中应用StableDiffusion技术，通过BDicon大模型生成B端三维图标，并展示了从简单线稿到复杂线稿的生成过程。文章还探讨了模型训练、Lora叠加和AIGC技术在提升生产力中的作用，以及其在游戏、设计和其他领域的潜在应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学会Stable Diffusion就要应用落地提升生产力，接下来我以我的应用案例来给大家讲讲我是怎么应用落地的，其他行业的应用原理也是相通的，可以作为参考。

BDicon生成三维图标

BDicon是我炼制的用于B端风格三维渲染图生成的大模型，主要使用ControlNet进行精准线稿生成，之前有写过一篇文章详细介绍生成细节操作，这里仅展示生成成果和分析。

[

如何用Bdicon大模型低门槛生成B端三维图标

图中第一行是文生图生成的，目前仅有部分物品文生图效果比较好，更多的文生图优化还有待后续炼制XL版本模型来实现，XL的文生图能力要好上许多，能清晰认识更多物品和概念。

第二行和第三行都是基于线稿生成的图像，可以根据业务需求自行绘制线稿控制生成结果，真正应用于工作。

下图中是使用简单线稿进行生成的效果，整体已经不错了，但是有些细节造型会有些小扭曲，比如正确勾号，目前的实践解决方案是加大分辨率后出图细节就能得到明显改善。

下图的高分辨率图像的细节造型就有了明显改善，正确勾号造型正确了。但是高分辨率放大也带来了新的问题，比如用户头部多出的造型，和背景元素被重绘的更多更明显了，这些问题可以通过PSbeta的AI功能去解决。

下方是BDicon的用户山卡拉叔叔的实践案例，虽然显卡只是1660s，但也有不错的效果。显卡只决定能不能跑，跑的有多快，生成的图片质量如何还是要看具体参数设置。

下方是小红书用户的实践案例，有了BDicon快速满足需求方有个图的需求，轻松下班哈哈

上方的都是简单线稿生成，接下来我们来看一下复杂线稿的生成效果，复杂线稿的具体参数需要对应调整，具体细节可以关注后续更新。

通过替换提示词，可以低成本快速更换色调，一个颜色耗时十分钟左右，比在三维软件中更改色调再重新渲染节约了数十倍的时间。虽然细节还有瑕疵，但要求不高的需求可以用了，要求高的需求也可以可以作为方向性参考与团队先过一遍，确定了再照着这个方向做，对齐双方预期，避免因为预想结果不同造成的反复修改。

微软风lora叠加风格

下图即是文章开头的视频中提到的微软风LoRA叠加到BDicon 上生成的效果，让成图结果带有了明显的柔彩质感。

多叠加Lora也有机会出现神奇的效果，下方是BDicon的用户山卡拉叔叔叠加了blindbox, microsoft design，御火 V2，CGgame C4D bsw 等4个LoRA生成的效果，多样化了许多，这种LoRA叠加的权重设置没有明显通用的规则，往往需要靠着对各个LoRA的了解来设定和尝试最佳设置。

训练模型满足特定需求

SD之于MJ的一大区别就是自主训练模型满足特定需求，例如我的BDicon和微软风模型就是为了满足B端设计所需的三维模型的特定需求而训练的。市场上的人像模型、游戏模型、IP模型、电商营销模型也都是如此为了满足各自特定的需求而训练的，下方是我写的一些训练模型和应用模型相关经验的文章，有兴趣的可以前往本号文章列表查阅。

Dreambooth 官方炼丹教程万字详解-Epochs\Batch size\学习率等超参数调优（一）

Dreambooth 官方炼丹教程详解-影响显存的高级设置（二）

接下来我以得到AIGC专家海辛转发推荐的微软风LoRA为案例，向大家展示不打标的极简炼丹术的训练思路。本思路可以适用于各种画风迁移到SD的需求，不仅局限于MJ出品的画风，任何训练集的画风都可以的。

这是MJ生成的微软风图标训练集，本次使用了100多张这样的图片作为训练集提供给SD进行学习，并未进行打标处理，分辨率也是1024。

这是训练完模型后进行XY轴测试模型效果的截图，将不同训练成果叠加于不同底模之上，即可直观的感受到不同的表现，然后再根据各方面表现筛选效果最好的那一个，作为最终成品LoRA文件发布。

当然，很难一次训练就得到最佳成果，往往需要从基础参数开始，多次调整训练参数才能得到满意的成果。

下图是我训练的另一个暗橙色风格的大模型SDicon，使用了50张素材左右的训练集进行训练，Ckpt大模型的训练并不一定比LoRA难，但对电脑性能和硬盘空间的需求是确定性的更多，一次训练产生几十G的文件很正常。

利用SD做其他有趣的事

学会SD后，除了应用于正经工作提效以外，我们还可以做些有趣的事情。例如利用SD的AI能力融合现实中无法融合的物体，轻松五分钟产出以前需要用PS辛苦的合成五小时的融合创意图。

我将这种融合创意图应用于我和B站合作的H5小游戏的效果也挺有意思，这次小游戏为了呼应《塞尔达·王国之泪》游戏上线而做的融合玩法收到的反响还不错，游玩次数也突破了10W+，并且加上多次推翻修改的制作成本依旧只有传统PS合成方式的几十分之一，详情可以看我写的这篇总结文章

AI绘画商用案例：Stable Diffusion 生成B站塞尔达H5小游戏梗图

SD的放大能力还能用于放大MJ生成的图片，将不足2k的图放大为5k超清并且合理的增加细节，可以有效提升图片的品质水平。

下图是我生成的银河舰队系列战舰，使用MJ生成图片后再到SD里添加细节和放大，最后在剪映里组合成视频，最终相关视频全网播放量50W+，收获了2W多个赞，也算是很有趣的经历了。

与视频生成AI Gen-2 联动

SD生成图片还可以进一步放入视频生成AI Gen-2里进行图生视频的处理，出来的结果也挺有惊喜的。感觉现在AI视频的发展程度已经到达MJ早期V1的阶段了感觉，技术突破应该就在这几年了，下方是使用Gen-2生成的一些视频，可以感受一下AI视频技术的突破。

**
**

总结

以上就是为什么要学SD，怎么学SD，学了SD怎么应用落地等几个问题的回答了，更多实践案例及落地细节敬请期待后续课程更新，祝大家都能愉快的学会SD，生成出最棒的作品哈哈~

文章使用的大模型、Lora模型、SD插件、示例图片等，都已经上传到我整理的 Stable Diffusion 绘画资源中。有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。