Stable Diffusion 图生图之垫图、局部回执、重绘模板、模板制作

区别于文生图,所谓的图生图,俗称的垫图,就是比文生图多了一张参考图,由参考一张图来生成图片,影响这个图片的要素不仅只靠提示词了,还有这个垫图的因素,这个区域就上上传垫图的地方,这默认的第一个选项是图生图,就是最基本的用法,电商行业常用的一个“局部重绘“和”局部重绘(上传蒙版) ”

一、垫图

采样器:
可以简单理解为AI画图的方式,画真人大部分情况下使用这2个采样器就够了:DPM++SDE Karras、Eular a

出图尺寸:
出图尺寸尽量和原图保持一致,有时候出图的尺寸和设置的不同,如果不符合8的倍数,实际出图尺寸会自动微调。

选择图生图,并且上传图片:

反向生成提示词和反向提示词

结果生成:

分辨率宽度和高度的大小是8的倍数,并且可以获取图片的原始数据 

在提示词加一个给女孩"戴一顶白帽子"

但是 重回幅度 需要设置大点,如果设置小了不起作用。

越大发挥空间越大,越小参考原图越多,发挥空间越小。

通过设置多个参数0.2,0.4,0.6,0.8

 这一行图片都是由左侧的图片生成而来,可以看出,随着重绘幅度的增加和原图越来越脱离,最后帽子编成了黑帽子

 二、局部绘制

选中需要重绘的部分进行重绘,比如下面我们选择重绘脸部,但是其它部分不要动

当然也可以调整蒙版模式,选择绘制未绘制的部分

可以看出来脸部没有绘制,但是发型变了,戴了一个帽子

蒙版模糊:用过剪映的应该知道这是干什么的,主要处理边界的融合感,防止生硬

蒙版内容,几种模式 

三、通过上传重绘模板进行绘制

通过上传原图片和蒙版图片得到最终的图片,其它参数的设置和上面的一样,也是需要设置成原图片相同的图片大小。其它参数设置看自己

四、重绘模板制作

重绘模板生成,安装插件

https://github.com/continue-revolution/sd-webui-segment-anything.git

下载模型

https://huggingface.co/spaces/abhishek/StableSAM/blob/main/sam_vit_h_4b8939.pth

 将模型放到extensions/sd-webui-segment-anything/models/sam目录下

左键选择需要生成蒙版的地方,右键选择需要去除的地方,黑点是蒙版,红点是切图

 显示的三行图,分别是参考图、蒙版图、切图

如果有需要的蒙版图,可以鼠标右键保存到电脑上,如果没有需要进一步调整,可以重新生成

如果需要对蒙版图进行细化调整

调整后的结果:

 如果第二张蒙版图还可以就就行保存放到本地吧,如果不行可以继续调整蒙版值。

五、图片高清放大插件

Ultimate SD Upscale

### Stable Diffusion 成的使用方法 #### 一、Stable Diffusion 的基本概念 Stable Diffusion 是一种先进的文成模型,其核心原理在于通过在潜在表示空间中进行迭代去噪操作,并最终将处理后的潜变量解码为完整的像[^2]。该模型不仅支持高质量成,还能依据特定条件成满足需求的像。 此外,Stable Diffusion 完全开源免费,用户可以在本地或云端自行部署并运行此工具[^1]。这种灵活性使其成为 AI 领域中的要技术之一,在艺术创作和商业应用中有广泛的潜力[^3]。 --- #### 二、本地环境下的安装与配置 如果希望在本地环境中运行 Stable Diffusion,以下是具体的操作流程: 1. **准备开发环境** - 确保计算机具备 NVIDIA GPU 和 CUDA 支持(推荐至少有 8GB 显存),因为训练和推理过程依赖于高性能计算资源。 - 下载 Python (建议版本 >= 3.9),以及必要的库文件如 PyTorch 和 Transformers。 ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 ``` 2. **克隆官方仓库** 访问 GitHub 上的 Stable Diffusion 开源项目页面,下载最新代码至本地机器。 ```bash git clone https://github.com/Stability-AI/stablediffusion.git cd stablediffusion ``` 3. **加载预训练权** 模型本身并不附带任何参数;因此需要单独获取已发布的 checkpoint 文件,并将其放置到指定目录下以便后续调用。 4. **启动服务端口** 利用内置脚本快速搭建 WebUI 接口供交互测试之用。 ```bash python scripts/webui.py ``` 此时应该可以通过浏览器访问 `http://localhost:7860` 来查看形化界面[^1]。 --- #### 三、云平台上的部署方案 对于缺乏足够硬件设施或者更倾向于利用第三方基础设施的情况来说,则可以选择借助云计算服务商来完成整个项目的迁移工作。例如 AWS 提供了一个名为 Amazon SageMaker 的托管服务平台,允许开发者轻松构建大规模机器学习流水线而无需担心底层架构管理等问题存在。 在此过程中需要注意的是,虽然理论上所有主流公有云厂商均能胜任这项任务,但由于实际成本考量加上不同区域可用实例类型的差异性等因素影响,最好提前做好充分调研再做决定[^3]。 --- #### 四、成高分辨率片技巧 为了获得最佳视觉效果,请遵循以下几点建议: - 调整采样步数(step count): 更高的数值通常意味着更好的质量但也消耗更多时间; - 设置合适的引导比例(guidance scale): 这决定了结果贴近提示词的程度,默认值设为7.5较为平衡; - 尝试多种风格模板(prompt templates): 不同描述方式可能会带来截然相反的艺术表现形式。 以上就是关于如何开始探索并实践Stable Diffusion的一些基础指导信息了! ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

流光影下

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值