◆comfyUI教程◆第2章14节 几种基础的图像放大原理与方法

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

摘要:本文梳理 ComfyUI 中 7 种基础的图像放大路径并测试效果:①K 采样前放大 latent,出图重构图且与原图无关;②K 采样后放大 latent 直接解码,图未放大且变模糊;③K 采样后放大 latent 再二次采样,设 0.5 左右降噪值可获高清图;④出图后直接缩放,尺寸变大但效果差;⑤出图后放大再经 VAE 编码与二次采样,效果较好;⑥用放大模型放大,崩脸图缺陷仍在,正常模糊图细节提升;⑦借 SD 放大节点(需装插件)分块放大,棋盘格模式保细节,可省显存。

    结合前面学习的内容,我们先来思考一下放大图像的可能路径,出图前主要在潜空间内放大latent的尺寸,出图后则考虑直接放大图像尺寸或将图像转化为潜空间再进行放大(潜空间放大后可以区分是否再次经过K采样器处理),也可以通过专门的放大模型和插件进行放大。按上述思路,我们将可能的图像放大路径梳理如下:

    ①K采样处理前,先放大“latent”的尺寸,再进入K采样器;

    ②经K采样器处理后,先放大latent尺寸,再经VAE解码生成图像;

    ③经K采样器处理后,先放大latent尺寸,经K采样器二次处理,再通过VAE解码生成图像

    ④出图完成,直接放大图像尺寸;

    ⑤出图完成,先放大图像,再通过VAE编码及K采样器二次采样

    ⑥出图完成,图像经过放大模型放大

    ⑦出图完成,图像通过专用放大节点和放大模型进行图像放大

    下面我们通过一组实例来测试上述方式的效果,看看哪些方式可以有效放大图片。测试期间我们固定种子值及各项参数,方便效果进行对比。这里我们出一张512×512的全身照图像,由于面部像素不足,可以得到一张崩脸的图片。

图片

1 K采样处理前,先放大“latent”的尺寸,再进入K采样器;

    K采样器前,放大latent宽、高值,改变了生图前的潜空间大小,最终出图会重新构图,内容与原图无关。

图片

2 经K采样器处理后,先放大latent尺寸,再经VAE解码生成图像

    K采样器后先放大latent,后直接进行VAE解码成图像,未通过K采样器二次采样,可以看出图像未放大成功且变得更加模糊。

图片

3 经K采样器处理后,先放大latent尺寸,经K采样器二次处理,再通过VAE解码生成图像

K采样器后,扩大latent尺寸,增加二次K采样器采样,可以获得高清图片。

需注意:二次采样的降噪值需设置在0.5左右(数值低则图像十分模糊,数值高则出图内容变化幅度过大)

图片

4 出图完成,直接放大图像尺寸;

    出图后,直接采用图像缩放相关功能放大图像尺寸,可以看到经过“图像缩放”、“图像按像素缩放”、“图像按系数缩放”,图像尺寸虽然变大,但均未获得较好效果的放大。

图片

5 出图完成,先放大图像,再通过VAE编码及K采样器二次采样

    出图流程完成,先放大图像,再通过VAE编码及K采样器二次采样,可以获得较好的放大效果。

图片

6 出图完成,图像经过放大模型放大

    底图是因像素不足而崩脸的人物情况下,图像经过直接模型放大,虽然画幅增加,画面锐度及颗粒度提高,但是画面内容仍在是崩脸的状态,缺陷内容无法改善。

图片

    也可以直接通过“加载图像”方式,通过放大模型放大。此次我们选择一张正常的模糊图片测试效果,图片画质得到提升、细节有所加强,且原图画面内容基本未发生变化。

图片

图片

7 出图完成,图像通过专用放大节点和放大模型进行图像放大

    用于放大图像的节点也有多种,比如常用的SD放大、Supir放大、auraSR放大及flus放大等。本节课先就comfyui常用的放大方式“SD放大(Ultimate SD Upscale)”进行讲解,该插件在运行时会先将图片切割成小块,经逐块放大后再进行拼接形成一张大图,通过此方法既可以取得放大图像效果,又可以控制计算所需显存,可以有效防止爆显存问题出现。

7.1 “SD放大”节点安装

    管理器中搜索“Upscale”,找到Ultimate SD Upscale插件点击安装并重启即可。

图片

7.2 节点路径及节点参数

    新建节点→图像→放大→SD放大

图片

7.3 节点参数

    “SD放大”节点与“K采样器”节点的功能有多个参数相同,实际应用时也是替代K采样器在工作流中进行运算。节点参数中,我们主要关注如下不同的内容:

(1)放大系数:图像放大的倍数

(2)模式类型:

分为直线(Linear)模式和棋盘格(Chess)模式。

直线模式下,像素值会按照图像的现有数值做平滑过渡,逐行处理。该模式下不会产生过多的伪影,放大效果较为平滑,但是可能会忽略一些细节。该模式常用于一些对细节精度要求不高的图像放大。

棋盘格模式,图像会像棋盘格一样将图像切割成多块且每个区块都独立放大计算,可以保留更多细节,但是可能会出现边缘过渡不自然的问题。该模式更适用于人脸、肖像等对细节保持有要求的图像。

一般情况下,我们会选择棋盘格(Chess)模式。

(3)分块宽度、分块高度:每一块独立运行区域的宽高大小,数值越小则分割的块数越多。

(4)模糊:调节放大过程中图像平滑程度。可以减少放大图像中过于锐利的细节或噪点颗粒随图像一并放大,使图像更加平滑、过渡自然。

(5)接缝修复模式:不同区块之间的边缘接缝处理模式。

    共有三种接缝修复模式,包括Band Pass(最强)、Half Tile(较弱)、 Half Tile+Intersecuons(强弱平衡);选择一种修复模式,并与下面的设置接缝降噪、宽度、模糊、分区等参数共同调试适用的模式。

7.4 使用方法

    图生图中,采用“SD放大”替代“K采样器”节点接入工作流即可,通过测试,放大后效果。

图片

    SD放大可以确保较好的放大效果,且因为分割计算的方式能节省计算空间,可以说该方法是目前放大图片最常用的基础方法。

8 对比

    经过上面的测试,我们发现有效的放大方式如下:

    K采样器后,先扩大latent尺寸,增加二次K采样器采样;

    出图流程完成,先放大图像,再通过VAE编码及K采样器二次采样;

    图像通过模型放大,保留原图内容增加清晰度和细节(还原底图内容);

    通过SD放大等专门节点进行放大,获得更好的放大效果;

    K采样器后,无论是先放大latent再出图,还是出图后放大图像,均需要二次K采样器才可以取得放大效果。图像直接通过模型放大,可以增加细节和清晰度,但是需要底图资深保持较好的品质,否则各类缺陷会随之放大;SD放大等放大节点可以获得更好的放大效果。

    当然本节内容测试的仅是图像放大的几种基础方法测试,目的是为了让大家更直接的了解comfyui的运行原理,实际使用时上述方法往往仅作为发达工作流中的局部节点,后续课程还会有效果更好的放大模型机放大节点进行介绍,与基础放大节点共同组合成完美效果的放大工作流。

附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。

百度网盘链接: 

https://pan.baidu.com/s/1UVeWVFttiWOZEWHtnLav9A?pwd=886e 提取码: 886e 

夸克网盘链接:https://pan.quark.cn/s/f445b7325b47

    欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源……

图片

    致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。

 ——画青山Ai学习专栏———————————————————————————————

零基础学Webui:

https://blog.youkuaiyun.com/vip_zgx888/category_13020854.html

Comfyui基础学习与实操:

https://blog.youkuaiyun.com/vip_zgx888/category_13006170.html

comfyui功能精进与探索:

https://blog.youkuaiyun.com/vip_zgx888/category_13005478.html

系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!

————————————————————————————————————

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

【3D应力敏感度分析拓扑优化】【基于p-范数全局应力衡量的3D敏感度分析】基于伴随方法的有限元分析和p-范数应力敏感度分析(Matlab代码实现)内容概要:本文档介绍了基于伴随方法的有限元分析p-范数全局应力衡量的3D应力敏感度分析,并结合拓扑优化技术,提供了完整的Matlab代码实现方案。该方法通过有限元建模计算结构在载荷作用下的应力分布,采用p-范数对全局应力进行有效聚合,避免传统方法中应力约束过多的问题,进而利用伴随法高效求解设计变量对应力的敏感度,为结构优化提供关键梯度信息。整个流程涵盖了从有限元分析、应力评估到敏感度计算的核心环,适用于复杂三维结构的轻量化高强度设计。; 适合人群:具备有限元分析基础、拓扑优化背景及Matlab编程能力的研究生、科研人员工程技术人员,尤其适合从事结构设计、力学仿真多学科优化的相关从业者; 使用场景及目标:①用于实现高精度三维结构的应力约束拓扑优化;②帮助理解伴随法在敏感度分析中的应用原理编程实现;③服务于科研复现、论文写作工程项目中的结构性能提升需求; 阅读建议:建议读者结合有限元理论优化算法知识,逐步调试Matlab代码,重点关注伴随方程的构建p-范数的数值处理技巧,以深入掌握方法本质并实现个性化拓展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值