Stable Diffusion教程|图生图原理和实战_基于stable diffusion生成图纸-优快云博客

本文链接：https://blog.youkuaiyun.com/2401_84815887/article/details/146159524

Stable Diffusion凭借其卓越的图生图功能，极大地提升了图像生成的可控性与输出品质，赋予用户前所未有的个性化创作风格表达能力。这一革新特性使得Stable Diffusion不仅能精准地捕捉用户的艺术愿景，更能以数字化手段孕育出新颖且极具创意的画作。本篇教程将深入剖析图生图的原理，聚焦于Stable Diffusion的图生图AI绘画技巧，助力您在创作独特数字艺术作品时拓宽灵感源泉，精进技艺。

1 图生图原理

2 图生图实战

**
**

一、*图生图原理*

1. 扩散模型

Stable Diffusion的核心是基于扩散模型的框架。扩散模型是一种深度学习模型，它模仿物理过程中的分子扩散现象，将图像从纯噪声逐渐演化为清晰图像。这个过程分为两个相反的阶段：扩散（增加噪声）和逆扩散（去除噪声并恢复结构）。在图生图场景中，逆扩散阶段被用来根据用户提供的输入图片和提示词，逐步生成目标图像。

2. 条件输入

不同于纯粹的文生图，图生图不仅接受文字提示，还接受一张源图片作为额外条件。源图片的信息被编码为隐空间中的向量表示，与文字提示共同作为逆扩散过程的起点。模型在更新图像状态时，既参考了源图片的结构特征，又受到文字提示的语义指导，从而生成与源图相关联且符合提示要求的新图像。

3. 提示词与反向提示词

提示词是用户为指导生成过程提供的关键词或短语，它们描述了期望的风格、氛围、元素或主题。反向提示词则用于指定不希望出现在生成结果中的内容。两者结合使用，能够更精确地约束模型的生成行为，确保输出图像既包含了期望的变化，又避免了不必要的元素。

有需要stable diffusion整合包以及提示词插件，可以扫描下方，免费获取

在这里插入图片描述

*二、图生图实战*

1. 准备工作

安装Stable Diffusion环境和相关插件。

前几篇已讲过了，还没学习的同学，请到文章末尾查看往期教程，进行学习。
SD Web UI 切换到图生图界面：

图生图功能的主要特点：

基于原始图像作为参照，生成新图像时确保关键的视觉样式与布局得以忠实保留。
运用文本指令，精准指引图像生成的个性化路径，涵盖风格重塑、细节强化等多元需求。
运用分布渲染技术递进式提升与细化图像品质，步步雕琢至理想状态。
借力于原图固有的视觉元素，显著提升生成图像的契合度与可控性，确保结果贴合预期。
轻松驾驭多种艺术流派的模拟演绎，只需借助精准的文字描述即可实现风格的无缝切换。
具备高效批处理能力，可一次性自动化处理大量图片，无缝完成整体优化与定制化修正。

2. 重要参数

step1 选择一个写实的大模型，再上传源图片：选择一张清晰、主题明确的源图片作为改造基础。注意，图片质量和内容直接影响生成结果。

图2-1 上传图片

step2 缩放模式：（拉伸/剪裁/填充/直接缩放）

拉伸：自动调整大小，当宽高比例不正确时，主体被拉伸

剪裁：自动调整图像大小，剪裁多余部分

填充：用图像的颜色自动填充空白区域

直接缩放（放大潜变量）

图2-2 拉伸模式

step3 图片尺寸，点击小三角会自动保持与原图尺寸一致或自定义尺寸。如：512*512。

图2-3 自动同步尺寸

step4 编写提示词：构思简洁而准确的提示词，描述期望的生成效果。例如，“a hummingbird”。

step5 设置重绘幅度0~1 和采样方法，点击“生成”按钮。

图2-3 不同重绘幅度和不同采样器图片对比

重绘幅度低于0.5更接近原图，大于0.7AI创作力度变大。

3. 真人转二次元

step1 下载一个二次元的大模型：AWPainting

下载存放文件路径：

图2-4 大模型存放目录

step2 使用AWPainting模型，上传图片真人照片，设置尺寸512*768，重绘幅度0.6，采样器DPM++ 2M Karras，提示词“animation style,a cute girl,”（你可随意发挥）。

图2-5 真人转动漫

**小技巧：你可以把重绘幅度设置0.2，循环生成图片，逐步转换二次元效果，最后通视频编辑软件把图片制作转场动画。
****

**
****

**4、制作头像****

step1 上传大头照512512，使用AWPainting模型，设置同尺寸10241024，重绘幅度0.6，采样器DPM++ 2M Karras。

图2-6 头像参数

**
****

step2 提示词"futuristic sci-fi themed girl,set against a high-tech cityscape at night,CG rendered,metallic sheen,cool special effects,seductive smile,",生成图像。