AIGC之stable diffusion(SD)炼丹总结

1 stable diffusion技术介绍

2 常用资源

社区:

civitai : 主流的AI绘画模型分享网站, 可以看大家分享出来的模型和生成的图像。
但是国内用户要访问这个网站, 需要科学上网。

aigccafe 这个是civitai的国内镜像网站,推荐使用这个。

代码:

stable difffusion 原始代码:v1版本: https://github.com/CompVis/stable-diffusion
v2版本: https://github.com/Stability-AI/stablediffusion
这是原始的代码,如果想要学习技术的话, 建议看这些原始代码。 网上各种应用基本都是基于这个修改和封装, 不容易看懂。

当然直接用原始代码是有一定技术门槛的,只是做应用的话其实完全没必要从原始代码开始。

stable-diffusion-webui
这是目前大家最常用的工具,是一个Gradio库开发的浏览器UI界面,其后端依旧是Stable Diffusion以及一系列相关的工具包。其优点是操作简单,调参方便,方便分享模型,并且方便组合各种模块,非常适合广大没有相关基础的人使用。

上面的stable-diffusion-webui门槛已经比较低了, 适合大多数人使用, 但依然有一些技术门槛, 主要是环境配置。

所以也有大神推出了整合包, 可以无脑安装使用, 适合完全的新手小白。 比较出名的有b站up主秋葉aaaki 的整合包和b站up主朱尼酱的整合包。
这些整合包是在stable-diffusion-webui的基础上做了进一步封装, 简化了安装和使用。

3 微调技术

3.1 LoRA

原理参考:LoRA微调方法详解

3. 2 controlNet

3.3 dreambooth

参考:
https://zhuanlan.zhihu.com/p/611310582

### Stable Diffusion Sampler 综合指南 #### 什么是采样器? 在Stable Diffusion中,去噪过程被称为采样。每一步都会产生新的图像样本,这一过程中使用的方法称为采样方法或采样器[^3]。 #### 常见的采样器及其特点 WebUI界面下提供了多种类型的采样器供选择,比如Euler a, Heun, DDIM等。这些采样器基于不同的算法实现,适用于不同类型的任务需求: - **Euler a (Ancestral)**: 这是一种简单而快速的选择,适合于大多数情况下的高效生成。 - **Heun**: 提高了精度并减少了伪影的可能性,尤其对于复杂场景更为有效。 - **DDIM (Denoising Diffusion Implicit Models)**: 能够提供更平滑的结果过渡效果,并允许用户更好地控制最终输出的质量和细节层次[^2]。 #### 如何选择合适的采样器? 当面对具体应用场景时,可以根据以下几个方面来决定最适合自己的选项: - 如果追求速度优先,则可以选择像 Euler 或者 Ancestral Sampling 这样的方案; - 对于需要更高画质的情况,可以尝试采用 Heun 方法或者其他高级变体; - 当希望获得更加细腻和平滑的变化趋势时,推荐考虑 DDIM 类型的策略[^1]。 ```python from diffusers import StableDiffusionPipeline pipeline = StableDiffusionPipeline.from_pretrained('model_name') image = pipeline(prompt="a photograph of an astronaut riding a horse", num_inference_steps=50).images[0] ``` 此代码片段展示了如何加载预训练模型并通过指定参数`num_inference_steps`调整迭代次数来进行图片合成操作。通过改变所使用的采样器名称作为额外输入参数之一,即可轻松切换不同模式下的性能表现评估。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值