随着技术的不断迭代,AIGC 能力的可控性得到了进一步提升,可应用的场景也越来越多,带着好奇心的驱使,先后注册了ChatGPT、Midjourney等软件,感受了一波AI的魅力,同时也注意到了另一款本地部署的AI绘图的专业软件:Stable-Diffusion。
这里先用一句话介绍一下 Stable Diffusion:它是一种基于深度学习的文本到图像的生成模型(简单说,可以文生图)。
对了这款火了很久的Stable Diffusion,我也是最近才学习。
那么,大概介绍一下学习思路:
1 软件安装
2 Stable Diffusion模型选择与安装
3 插件选择与安装
4 软件应用
一、软件安装
因为这款软件需要本地化部署,对安装略有门槛,故而劝退很多人,但经过我的不懈努力(其实也找了很多人帮忙),查阅各种资料,终于成功的在 Mac 本地部署了Stable Diffusion(以下简称SD)。
二、Stable diffusion模型选择与安装
大家都知道,SD可以生成各种风格的图,如写实,如漫画,如中国风,如3d等等,那么在了解这些风格之前,可以先去了解一下模型的分类。(不同模型的类型不同,安装的方法也不一样)
据我了解,模型大概分类:Checkpoint、LoRA、Textual Inversion、Hypernetwork。
Checkpoint
-
通过Dreambooth训练方式得到的大模型,特点是兼容的风格种类多,但由于训练的是一个完整的新模型,所以训练速度普遍较慢,生成模型文件较大,一般1g-8g不等,文件格式为 safetensors 或ckpt。如niji3dstyle模型。
-
下载下来的存放位置:sd根目录/models/Stable-diffusion/
LoRA
-
一种轻量化的模型微调训练方法,是在原有大模型的基础上,对该模型进行微调,用于输出固定特征的人或事物。特点是对于特定风格特征的出图效果好,训练速度快,模型文件小,一般几十到一百多MB,需要搭配大模型使用。如blindbox模型。
-
下载下来的存放位置:sd根目录/models/Lora
Textual Inversion
-
一种使用文本提示来训练模型的方法,可以简单理解为一组打包的提示词,用于生成固定特征的人或事物。特点是对于特定风格特征的出图效果好,模型文件非常小,但是训练速度较慢,需要搭配大模型使用。
-
下载下来的存放位置:sd根目录/models/embeddings
Hypernetwork
-
类似 LoRA,但模型效果不如LoRA,需要搭配大模型使用
-
下载下来的存放位置:sd根目录/models/hypernetworks
那么说说,模型安装~这里说说模型可以从哪里安装,比如官方的地址,比如civitai(https://civitai.com/)。
下载模型后,根据不同模型类型放置在对应文件夹里就安装好了,刷新页面就能显示了。
三、插件的选择与安装
说起这个,我也很头疼。有时候,找到了插件呢,又不一定能安装好。各种问题,只是对应的问题都有解决方案,寻找专业的人来解决就好。
这里推荐几款不错的插件:
Tag反推(Tagger)|关键词反推
这款插件,我也没安装成功。嗯是安装了,没加载出来。可能方式不对。这里就不分享资源了。
动态提示词
在界面上找到扩展,从网址安装。(https://github.com/adieyal/sd-dynamic-prompts),安装好后重启应用就有了。
对于提示词,大家其实也可以不安装插件,通过在线反推提示词插件,或者AI生成提示词,提示词就是对需要的东西详细描述,细节了解。也可以根据自己想要的画面,针对风格,写细节,然后谷歌翻译一下。
Controlnet
学过Stable Diffusion的小伙伴估计都知道ControlNet的鼎鼎大名,正是有了ControlNet才让SD变的更加强大,可以说只有玩熟了ControlNet才能称得上登堂入室。最近官方就更新了ControlNet 1.1版,新增功能更加强大。
四、软件应用
做为菜鸟级的我,也是反复试了,才生成这么个看上去还行的兔子~
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
