AIGC技巧:SD图生图 如何控制变量生成想要的效果?

AI绘画Stable Diffusion入门教程:文生图基础用法(提示词) 感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。 阅读详情

SD(StableDiffusion)是目前最流行的本地部署类AIGC工具,它可以说既简单又复杂。简单是因为完全没有绘画功底的用户也可以做出各种风格的精美图片,而复杂则是因为AIGC相对没有那么“听话”,想要AI完全按照自己的想法实现内容还是颇有难度的。

此前我们简单介绍过大家最常用的文生图,今天就来讲一讲SD更实用的图生图功能。它相比文生图具有在原图基础上更可控、更简单、更还原等优点,但如果是初次接触,想要用好还是比较困难的,下面我们就来简单的讲一讲如何控制图生图中的变量达到想要的效果。

1 模型的选择 准备工作

在SD中,不同的模型有不同的绘画风格,相信使用过文生图的朋友都有体会,有的模型擅长动漫人物、有的擅长真人、有的则擅长风景。

这一点在图生图中同样比较重要,如果选择人物模型,却想要生成纯风景就非常困难,即便反向词加上各种限制,大概率出图后也会有一个奇形怪状的人物出现。

目前从个人使用的情况来看,动漫类aamXLAnimeMix、astranime效果都是不错的;真人则是chilloutmix;纯风景的比较少,使用SDXL即可。

除了模型之外,硬件也是准备工作的重要环节,不管是文生图还是图生图,显卡始终是冲在最前线的。如果你想生成大尺寸的图片,显存是最重要的,如果显存需求高于实际显存,则会直接报错,无法生成。

不过如果你只需生成单张图片,使用高清修复功能同样可以解决分辨率的问题。此前笔者由于需要使用SD生成出视频对应的多张图片,所以直接按照视频的尺寸生成了1800×1200分辨率。

对于SD来说,生成简单的图12GB显存大都够用,如果生成较大较精细的图片,建议16GB或以上显存。目前RTX40系显卡中RTX 4070 Ti SUPER和RTX 4080 SUPER都是16GB,我们的测试平台使用的为华硕TUF GeForce RTX 4080
SUPER O16G GAMING显卡(毕竟收钱了)。

不过在算力上RTX 4080 SUPER也要比RTX 4070 Ti SUPER强很多,10张图片大约能提升30s左右。毕竟使用SD不管是文生图还是图生图,都是碰运气的事,验证阶段生成几十几百张图很常见。

2 反推

下面我们直入正题,SD图生图与文生图最大的区别就是需要反推提示词。虽然SD会自带反推,但还是建议大家直接下载秋叶大神的整合包,里面自带了WD1.4标签器,傻瓜式操作、速度快、准确度高。

1girl, hat, solo, phone, long hair, cellphone, holding, holding phone,
smartphone, blue headwear, realistic, jacket, black hair, upper body, brown
hair, baseball cap, grey background, long sleeves, simple background, black
eyes

从上图的反推来看,WD1.4标签器生成的准确度相当高,而且可一键发送到图生图,非常方便。

这步不需要什么注意事项,只是在筛选标签的时候,可以删除或替换为自己想要生成的目标。

3 参数设置

在SD图生图中,参数的设定和文生图有些区别,这里简单说明。

迭代步数

迭代步数的数值与文生图相同,简单可以理解为AI通过多少步的计算得到的这张图片,通常设定在20-50之间 ,过低或过高都可能造成画面崩坏。

然而不同的模型,对迭代步数的需求都不同。通常来讲在漫画模型中,Steps在20左右即可生成不错的图片,但很多真人模型Steps
20生成的图片则会显得假一些,将数值设定在40-50左右会有不错的效果。

另外迭代步数越高,生成图片的时间越慢,反之则快。但最终生成的图片大小都是相同的。

重绘尺寸

由于SD图生图通常是将真实拍摄的照片导入作为参考,如果是原图,则需要进行缩放处理,否则会由于图片过大而显存报错。

如果想保持原图比例,选择倍数缩放即可;如果想自定义,直接输入想要的尺寸即可。这一项很简单,无需太多说明。

批次

总批次数和单批数量也很好理解,总批次数越大,代表AI随机种子生成的数量越多;而单批数量则是在同一种子的情况下,使用相同设定生成更多的图片。

这两项数值的设定没有绝对值,通常前期实验阶段的总批次数会多一些,以作为参考。如果发现了喜欢的风格或构图,可以查看当前图片的Seed值,将这个值复制到随机数种子中(默认为-1),再生成单批多数量图片。

引导系数与重绘幅度

这两项参数是与文生图区别最大的地方,在文生图中,提示词引导系数基本是单一决定出图效果的变量(除了提示词)。

而在图生图中,引导系数会被极大弱化,它与重绘幅度是相辅相成的关系。

简单来说,重绘幅度越小,它与原图就越相似,AI发挥的空间就越小。而重绘幅度在0.5或0.6之后,AI发挥的就越自由。

同时这也会大幅提高画面崩坏的几率,虽然AI的自由度高了,但是图生图的逻辑仍是在原图的基础上修改,所以当两种设定相冲突时,就会产生崩坏的画面。

想要得到自己满意的图生图效果,就需要在引导系数与重绘幅度之间反复调试,以掌握自己满意的AI重绘区间。在掌握了大体的区间后,笔者通常将重绘幅度以0.02作为步进区间。

4 标签

虽然图生图是以原图作为依据进行重绘,但标签仍然会起到相当大的作用。另外在SD中,一些反向标签是通用的,大家可以直接复制到记事本中,以便下次直接取用。如果是人物图片,基本以多余的手、四肢、低质量为主。

(unhealthy-deformed-joints:2),(unhealthy-
hands:2),EasyNegative,ng_deepnegative_v1_75t,(worst quality:2),(low
quality:2),(normal quality:2),lowres,bad anatomy,badhandv4,((extra
limbs)),((extra legs)),((fused legs)),((extra arms)),((fused arms)),normal
quality,((monochrome)),((grayscale)),((watermark)),uneven eyes,lazy
eye,(((mutated hand))),

以原图作为参考,一些较为相似的部位,如图中皖之的头发、眼神,在重绘幅度较大的情况下,AI可以根据提示词自行修改。

但身后标志性较强的百叶窗,如果你想让AI重绘成黑色的柜子,则很难实现。除非将重绘幅度继续调大,但随之而来的后果就是画面崩坏更严重。

所以这时我们就需要用到局部重绘。

5 局部重绘

蒙版重绘顾名思义,就是圈出图中需要AI重新生成的地方。它的作用是帮助我们在已经生成出合适的人或背景之后,固定某一区域,重新生成其他区域的内容。

如图中所示,我们已经生成了相当完美的角色。手部和姿势都已经相当完美,所以这时候仅需更改背景即可。

重绘的工具SD里面提供的比较简单,只有一个圆形画笔。大家可根据人物结构的不同,随时调整画笔大小。

如果想要更严谨的区域,也可以上传原始图像和黑白蒙版,这样能够最大限度保证边缘结构的准确性。

局部重绘除了框定选区范围之外,所有参数也要重新设置。毕竟它只是在原图的基础上刨除了一部分,仍然相当于重新作画。

这里需要注意的是,在蒙版模式中要区分让AI绘制蒙版内或者反选区域的内容。另外如果需要生成完全不同的背景,在重绘幅度上可以调大参数。

最后就是记得更改提示词,从标签页复制过来的提示词仅适用于原始图像,想大幅度改变背景,提示词需重新定制。

6 总结

图生图是SD重非常有用的一项功能,而且它相比文生图效果更直接。大家不妨找一些身边的朋友,把他们的照片变为AI风格,一定会让大家啧啧称奇。

另外文中没有提及【ControlNet】,这是一个功能极强的插件,使用它可以时间自定义姿势、保障面部表情、手指准确性、给老照片上色、给线稿上色等等。不过相对应的使用起来也比较繁琐,如果大家想看更多关于AIGC的小技巧,下次我们可以单独来讲一期ControlNet插件。

最后,AIGC生图永远不会按照我们大脑想的意志来,只能是无限接近。所以如果想达到最好的效果,还要结合自身的绘画功底来对图片进行完善。

文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。
在这里插入图片描述

手把手学计科--web网页设计 网页的组成:文字、图像和超链接等元素。还可以包括哦音频、视频和动画。分类:静态(固定信息)和动态(与服务器数据库进行实时的数据交换。HTML和CSS 是一种静态网页搭建技术。 阅读详情

相关推荐

LabVIEW事件结构避坑指南:为什么你的‘确定按钮’事件有时会失灵?

本文深入探讨了LabVIEW事件结构中'确定按钮'事件失灵的常见原因及解决方案。从事件队列机制到事件类型选择,详细分析了事件丢失的五大原因,包括事件处理耗时过长、事件类型选择不当等,并提供了优化登录界面案例的实用建议。掌握这些技巧可显著提升LabVIEW用户界面的响应可靠性。

weixin_42548888的博客 355

AI绘图的场景应用:文生图、图生图

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

qq_41314882的博客 7659

vue中使用video-player视频插件,第一次无法监听父组件穿过来的值解决办法

需求: 页面![在这里插入图片描述](https://img-blog.csdnimg.cn/20201208141906802.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FfOTg4OA==,size_16,color_FFFFFF,t_70) 作品清单是从后端请求回来的不同格式的url,前端需求根据后缀动态判断格式,然后对齐进行下载和

A_9888的博客 770

手把手教你用SD做转绘视频

所谓转绘视频,其实质就是将视频分切成序列帧,然后对序列帧做转绘,再将转绘后的序列帧合成为视频的一个过程。但如果是将每一帧都进行手工转绘处理,不仅工作量大,而且由于每一帧会存在差异,将导致最终合成的视频出现画面闪烁的情况。为解决这一问题,在SD中我们将引入Ebsynth这一工具。利用ebsynth将视频分切,然后提取视频主体动作幅度相近的帧作为关键帧,在SD中对这部分关键帧做转绘处理,用ebsynth渲染关键帧之间的过渡帧,最后将输出的所有帧合成为视频。

2401_84250575的博客 6694

fMRI数据处理:从DICOM到NIFTI(下)

上一篇我们完成了对原始DICOM的数据整理,将其整理为了BIDS目录结构。作为从从DICOM到NIFTI的最后一篇,当然是介绍如何批量将DICOM格式转NIFTI格式啦!从DICOM到NIFTI系列就完成啦!撒花★,°.°★。从核磁机器把数据拷回来——到整理成BIDS格式——到批量转格式;我们fMRI数据处理的第一步就算是正式迈出去啦!接下来的内容,敬请期待吧~

weixin_44933894的博客 2080

解读文献(五)------基于阻抗控制

文章目录背景主动柔顺控制阻抗控制基于力的阻抗控制基于位置的阻抗控制力位混合控制 背景 主动柔顺控制 阻抗控制 基于力的阻抗控制 基于位置的阻抗控制 力位混合控制 ...

accumulation 1万+

免费云端Stable Diffusion部署体验

Stable Diffusion 是一种潜在扩散模型,它的开发由初创公司 Stability AI 资助和塑造,模型的技术许可证由慕尼黑大学的 CompVis 小组发布。它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及基于文本提示(英文)生成图像到图像的转换。扩散模型是一种生成模型,可以从训练数据中学习出一个概率分布,并从中采样出新的数据。- stable diffusion可以处理任意领域和主题的文本输入,并生成与之相符合的多样化和富有创意的图像。

云物缭绕 657

RandLA-Net Tensorrt 推理 c++

RandLA-Net 实现 Tensorrt 部署.

J。 1111

AI绘画Stable Diffusion 生成模特产品场景图,AI赋能电商真的太酷了!

大家好,我是画画的小强,今天教大家怎么用AI绘画工具 Stable Diffusion 制作 AI虚拟模特产品海报图。话不多说,先看下效果,还不错吧?!

A1353192296的博客 2064

innovus:像ICC2一样设置placement label

ICC2有placement label/placement rule功能,能控制各种类型cell 之间的spacing规则,包括top和bottom edge的spacing。innovus也有相同的功能,以下示例方便大家了解用法。我们需要给所有OAI* cell之间设置一个spacing rule,让他们不要上下或者挨着。效果如下图,这个spacing指的是同一边的间距,不是cell间距。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 838

【纯实战】C#基于TCP/IP实现三菱PLC MC协议完整通信(含完整源码+通信原理+避坑指南)

MC协议是三菱电机为旗下MELSEC系列PLC量身定制的以太网专用通信协议,本质是一套基于TCP/IP的应用层协议规范,专门用于实现上位机(PC/工控机)与PLC之间的双向数据交互,支持对PLC的软元件(X/Y/M/D/W/T/C等)进行读、写、批量读写等核心操作,同时支持PLC状态查询、程序启停等控制指令。重要:三菱PLC的MC协议默认基于TCP 4999端口通信,部分新版本FX5U/Q系列也支持TCP 5000端口,核心通信逻辑一致。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 897

Layer Diffuse技术报告:SD透明图像生成与图层分离,设计师的福音

如图所示,然后请求GPT(我们使用ChatGPT进行了10万次请求,然后切换到LLAMA2进行了90万次请求)生成结构化提示对,例如前景图层的“一只可爱的猫”,整个图像的“花园里的猫”,背景的“花园里什么也没有”(我们要求GPT在背景提示中添加“nothing”一词)。张吕敏和他的团队,包括Maneesh Agrawala,开发了名为Layer Diffuse的技术,这项技术能生成高清晰度的透明PNG格式素材,并能够将图像的前景和背景分别导出。其他高清素材包括人物,动物的毛发,都能完整地保留。

代码互助协会的博客 3552

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

AIGC技巧:SD插件ControlNet详解 让AI更易掌控!

Stable Diffusion是目前应用最广泛的本地AIGC,AI的最大特点就是强随机性,虽然在大部分时候它是优点,但难以掌控,随机抽卡也让用户颇为头疼。今天我们就为大家详细介绍一下Stable Diffusion中的ControlNet插件,它可以极大降低抽卡的随机性,让用户更容易的控制AI出图。ControlNet是什么?有什么作用?ControlNet是Stable Diffusion中的一款超强插件,它不同于模型,不会控制出图的风格,而是在底部的菜单栏中调用。

m0_71745258的博客 987

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

AI绘画技巧:SD插件ControlNet详解 让AI更易掌控!

大家好,我是写编程的木木。Stable Diffusion是目前应用最广泛的本地AIGC,AI的最大特点就是强随机性,虽然在大部分时候它是优点,但难以掌控,随机抽卡也让用户颇为头疼。今天我们就为大家详细介绍一下Stable Diffusion中的ControlNet插件,它可以极大降低抽卡的随机性,让用户更容易的控制AI出图。ControlNet是什么?有什么作用?ControlNet是Stable Diffusion中的一款超强插件,它不同于模型,不会控制出图的风格,而是在底部的菜单栏中调用。

HJS123456780的博客 1342

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

使用ComfyUI进行A/B测试:比较不同模型生成效果

本文介绍如何利用ComfyUI的节点式工作流对AI图像生成模型进行科学的A/B测试,通过控制变量法实现多模型并行对比,确保结果可复现、可量化,并结合插件与自动化提升评估效率。

weixin_35751412的博客 1097

CLIP-GmP-ViT-L-14图文匹配效果实测:合成数据(SD生成图)与真实图匹配偏差分析

本文介绍了如何在星图GPU平台上一键自动化部署CLIP-GmP-ViT-L-14图文匹配测试工具镜像,并利用该工具实测了AI生成图与真实照片的图文匹配差异。该工具的核心应用场景是快速评估和对比图片与文本描述的匹配度,常用于图像检索、AIGC内容评估等领域,帮助开发者直观理解模型行为。

weixin_42400643的博客 378

SD插件ControlNet详解 让AI更易掌控!

Stable Diffusion是目前应用最广泛的本地AIGC,AI的最大特点就是强随机性,虽然在大部分时候它是优点,但难以掌控,随机抽卡也让用户颇为头疼。今天我们就为大家详细介绍一下Stable Diffusion中的ControlNet插件,它可以极大降低抽卡的随机性,让用户更容易的控制AI出图。

m0_58477260的博客 1782
上一篇: 【AI绘画】给美女更换衣服!
下一篇: AI “黏土画风”轻松拿捏,手把手带你云端部署 ComfyUI
不秃头de程序猿
博客等级 码龄5年 4089粉丝 1478原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值