【Stable Diffusion】(基础篇三)—— 图生图基础

图生图基础

本系列笔记主要参考B站nenly同学的视频教程,传送门:B站第一套系统的AI绘画课!零基础学会Stable Diffusion,这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili

本文主要讲解如何使用SD中的图生图功能

AI绘画不仅可以基于文本(提示词)进行创作,它还可以接收图片信息,根据图片来生成新的图片,在短视频上大火的将照片转换为二次元风格用法就是通过这个功能实现的。

在生活中经常遇到这种情况,你的老板喋喋不休的对你提需求,但你总是不能很好地get到他所描述的点,这时候老板找到一个类似的参考方案,并告诉你就按这个样子来做,这时候你就能够非常清晰的了解老板的需求。这个过程和图生图很像,如果说你用提示词无法准确地向AI表达自己的需求,那么使用一张参考图,就可以让AI更懂你的意思。

图生图流程

  1. 导入图片

    图生图的整体界面和文生图类似,只是多出了一个用来传入图像的地方,如下图所示,我们今天先讲一下如何使用图生图,其余的功能包括局部重绘等后期进行详细讲解。给SD传入图像有两种方法:打开资源管理器或者直接拖拽

    在这里插入图片描述

  2. 书写提示词

    图生图也要求提示词,如果没有提示词的话SD可能会识别出错,比如错误地将一个男孩识别成为一个女孩,所以哪怕是最基础的提示词也应该写上,比如1 boy

  3. 参数调整

    图生图的参数大部分都和文生图一样,多了一个重绘幅度,重绘幅度可以理解为AI作画的结果和你输入的图片的相似程度,数值越大则差距越大,AI发挥的空间更大;数值越小则和输入图片越相似,AI发挥空间更小。

参数解释

分辨率:重新生成的图片的分辨率最好能够和原图保持一致,如果原图较大,使用AI绘画一次性画大分辨率的图片可能会爆显存,此时尽量保持和原图的比例一致

随机种子使用探索:在多次的绘画“抽卡”过程中,如果你遇到一个喜欢的人物形象,然后想要改变这个人所处的背景环境,这时如果你直接在提示词中添加新的背景描述,可能因为抽卡的随机性,人物又发生了变化,这就不是你想要的效果了。解决方法就是固定随机种子,这样可以最大程度保证多次进行抽卡的结果不发生大的变化。

应用

风格迁移

这是AI绘画最常用的应用,各种短视频中流行的滤镜和画风变化等,自己使用AI的话可以得到更加细致地操作过程,得到更精细控制的出图

【示例】使用深渊橘模型将一张真人照片转换为二次元风格,模型的下载和切换参考文章:

示例图片:

在这里插入图片描述

1man, short hair, gold hair, blue eyes, beard, red plaid shirt,  woolen hat,(masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), 
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Steps: 20, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 529925132, Size: 800x800, Model hash: 038ba203d8, Model: 二次元:AbyssOrangeMix2_sfw, Denoising strength: 0.6, Clip skip: 2, Version: v1.5.2

这是我使用的出图设置,在未来你看到的很多作品展示都会附上这样的描述,如果你想要得到同样的出图结果,只需要设置相同的参数即可,我来教你如何读懂这些参数设置,首先第一部分是正向提示词,Negative prompt部分为反向提示词,最后一部分则是出图参数设置,Steps表示采样步数,Sampler表示采样方法,Seed表示随机种子,Size表示出图大小,Model为使用的模型,其余的参数你可以不用太在意,通常保持默认即可。如果你想要达到和我一样的效果,遵循我的参数设置即可,但我更建议你多多设置不同的参数进行实验,这样能够帮助你理解参数的具体含义

生成结果:
在这里插入图片描述

静物拟人化

使用AI绘画图生图功能,我们可以实现将静物拟人化,比如大家最喜欢的将各种东西娘化

【示例】使用图生图把农夫山泉娘化

示例图片:

在这里插入图片描述

SFW, (1girl:1.3), long hair, white hair, face, front, looking at viewer,  white shirt, (green belt:1.5), red skirt, red hats, dancing, upper body, standing, (white background:1.5), hands at the back
(masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2),
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 4072734575, Size: 600x600, Model hash: 038ba203d8, Model: AbyssOrangeMix2_sfw, Denoising strength: 0.7, Clip skip: 2, Version: v1.5.2

生成结果:

在这里插入图片描述

抽象派画师

你还可以发挥自己的想象力,画一些简单的简笔画,让ai将其变成细节丰富的作品

示例图:

在这里插入图片描述

1girl,  dancing,  ocean,  sunset, (masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), 
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Steps: 20, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 2803648791, Size: 800x800, Model hash: 038ba203d8, Model: 二次元:AbyssOrangeMix2_sfw, Denoising strength: 0.75, Clip skip: 2, Version: v1.5.2

生成结果:

在这里插入图片描述

### Stable Diffusion基本流程 在Stable Diffusion中,文本像的过程涉及几个关键步骤。用户首先提供一段描述期望像的文字提示词。该模型利用这些文字提示来指导其内部算法创建相应的视觉表示[^1]。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "stabilityai/stable-diffusion-2" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, revision="fp16", torch_dtype=torch.float16) pipe.to("cuda") prompt = "A fantasy landscape with a castle and mountains." image = pipe(prompt).images[0] image.save("fantasy_landscape.png") ``` 这段Python代码展示了如何通过调用`diffusers`库中的函数并指定想要绘制的内容作为参数传递给模型来进行文操作。 ### Stable Diffusion 基本流程 对于基于现有片的再创作即功能而言,在上述基础上增加了原始片这一额外输入项。具体来说就是除了给出目标风格或修改方向外还需上传一张源文件供程序参考以便调整细节特征使之更贴近预期效果;同时允许设定重绘强度以控制变化程度[^2]。 ```python from PIL import Image init_image = Image.open("./path_to_your_initial_image.jpg").convert("RGB") # 加载初始片 strength_value = 0.75 # 设置重绘幅度值介于(0..1) new_image = pipe(prompt=prompt, image=init_image, strength=strength_value).images[0] new_image.save("modified_fantasy_landscape.png") ``` 此部分代码片段说明了当执行任务时应怎样加载原以及定义转换力度,并最终保存处理后的成果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值