字节大佬爆肝整理-生成无限制高清动态分辨率,加速44%兼容IPA&CN,ComfyUI使用指南

近日，字节再次推动一款无需进行复杂的后处理就可以实现动态分辨率的图像生成方法：ResAdapter。ResAdapter对应的模型已在huggingface开源，同时还发布了一篇关于名为《ResAdapter: Domain Consistent Resolution Adapter for Diffusion Models》的技术论文解释了该方法。

在技术论文中提到，在文生图模型和个性化技术的进步，使得能够生成高质量和富有想象力的图像创作。然而，推理生成分辨率是会受到训练的图像分辨率锁限制。因此，ResAdapter（分辨率适配器）的提出便是解决这个问题限制的。

ResAdapter是一种为扩散模型（例如，SD 和个性化模型）设计的域一致适配器，用于生成无限制分辨率和宽高比的图像。同类的其他多分辨率生成方法，大部分都是通过后处理技术处理静态分辨率的图像。而ResAdapter 采用的方法与它们不同，是直接生成动态分辨率的图像。这种方法使得在没有重复去噪步骤和复杂后处理操作的情况下能够进行高效的推理，从而消除了额外的推理时间。ResAdapter 在没有任何训练域的风格信息的情况下，通过广泛的分辨率先验知识，使用 0.5M 生成个性化扩散模型的域外分辨率图像，同时保持其风格域。

通过广泛的实验表明 ResAdapter 与扩散模型在分辨率插值和导出方面的具有优秀对有效性。同时ResAdapter 也能够与如：ControlNet，IP-Adapter 和 LCM-LoRA等其他模块兼容，可以被用于具有灵活分辨率的图像，并且可以集成到其他多分辨率模型（例如，ElasticDiffusion）中，被用来高效地生成更高分辨率的图像。

ResAdapter 流程

左侧：ResAdapter 的流程。它基于冻结模型（例如，SD 或 SDXL）从混合分辨率数据集学习分辨率先验，可以集成到任何个性化模型中以生成多分辨率图像。右侧：ResAdapter 与普通 LoRA 之间的架构比较。ResAdapter 仅插入到下采样器和上采样器中，并解除了 resnet 块的组归一化。

ResAdapter官方演示

文本到图像任务

ResAdapter 可以与不同风格域的扩散模型结合，用于生成任意风格的高质量图像。

ResAdapter 与 ControlNet

ResAdapter与ControlNet评估比较结果展示，基线代表 ControlNet。对于每对图像，左侧是来自 ResAdapter与基线的图像，右侧是来自基线的图像。

ResAdapter与ControlNet-v1.5

ResAdapter与ControlNet-XL

ResAdapter 与 IP-Adapter

ResAdapter与IP-Adapter评估比较结果展示，基线代表 IP-Adapter。对于每对图像，左侧是来自 ResAdapter 与基线的图像，右侧是来自基线的图像。

ResAdapter 与 LCM-LoRA

ResAdapter与 LCM-LoRA评估比较结果展示，基线代表 Samaritan3dXL 与 LCM-LoRA 或 DreamshaperXL 与 LCM-LoRA。对于每对图像，左侧是来自 ResAdapter 与基线的图像，右侧是来自基线的图像。

Samaritan3dXL

DreamshaperXL

ResAdapter 与 ElasticDiffusion

使用ResAdapter 高效推理生成 2048x2048 分辨率的图像案例展示，能够看到2048x2048图像放大有大约44%的加速。

ResAdapter推理

官方也提供了在线体验地址，可供用户体验。同时社区已经有了ComfyUI插件支持。

• 在线体验地址：https://huggingface.co/spaces/jiaxiangc/res-adapter
• ComfyUI插件：https://github.com/jiaxiangc/ComfyUI-ResAdapter

ComfyUI插件安装方法如下：

• 在custom_nodes目录下，使用git下载ComfyUI-ResAdapter插件源码：git clone git@github.com:jiaxiangc/ComfyUI-ResAdapter.git
• 模型会在运行时自动下载。如需手动下载，地址为：https://huggingface.co/jiaxiangc/res-adapter/tree/main 。放置在/ComfyUI/ComfyUI-ResAdapter/models目录下
• 重启ComfyUI并导入ComfyUI工作流（文末已放置工作流获取，或者通过插件主页获取）

启动界面如下所示

文生图

controlnet结合

IPAdapter结合

结合lcm-lora加速

作者建议使用技巧：

• 如果对插值图像不满意，尝试将 resadapter 的 alpha 增加到 1.0。
• 如果对外推图像不满意，尝试选择 resadapter 的 alpha 在 0.3 ~ 0.7 之间。
• 如果发现图像存在风格冲突，尝试减少 resadapter 的 alpha。
• 如果发现 resadapter 与其他加速 lora 不兼容，尝试将 resadapter 的 alpha 减少到 0.5 ~ 0.7。

ResAdapter体验

01. 水彩风格

Pictures, beautiful face, youthful appearance, ultra focus, face iluminated, face detailed, ultra focus, dreamlike images, pixel perfect precision, ultra realistic, vibrant, ultra focus, face ilumined, face detailed, 8k resolution, watercolor, detailed colors, ultra focus, 8k resolution, watercolor, razumov style. art by Carne Griffiths, Frank Frazetta, sf, intricate artwork masterpiece, ominous, golden ratio, in the oil painting style reminiscent of Konstantin Razumov’s work, yet interspersed with the layered paper illusion effect characteristic of Eiko Ojala, Reimagined splashes of ink in the digital art style, evoking at once impressions of Alberto Seveso’s signature pieces, model standing confidently at the center, trending on cgsociety, intricate, epic, trending on artstation, by artgerm, h. r. giger and beksinski, highly detailed, vibrant, production cinematic character render, ultra high quality model, sf, intricate artwork masterpiece, ominous, matte painting movie poster, golden ratio, trending on cgsociety, intricate, epic, trending on artstation, by artgerm, h. r. giger and beksinski, highly detailed, vibrant

02. 印象风格

Female in a fantasy world, Fluid brushwork, Bright colors, Emphasis on light and atmosphere, realism, impressionism, Post-impressionism, light and color, attention to detail, by master of portraiture, by master of realism, (realism:1.2) and (naturalism:1.2), (impressionistic:1.2) brushwork, (portraiture:1.2) and (figurative:1.2) focus, (play of light and shadow:1.2), (elegant compositions:1.2) and (balanced:1.2) arrangements, (rich color palette:1.2) and (bold:1.2) use of color, and (masterful technique:1.2) with (attention to detail:1.2),

03. 未来摄影

Asian girl, (movie poster with title and text graphics:1.3) , a lone beautiful woman stands poised, waiting, an anxious look on her beautiful face, futuristic, illustrated, best quality

04. 火焰

Asian girl,(upper knees shot:1.3),drawing of pink haired young girl,goth,1girl,beautiful and aesthetic,masterpiece,Gloves,(tangle, entangle),dark chaos flames,dark colors,plasma flame,ice,flash,by takato yamamoto,atmospheric,8K wallpaper,ultra detailed,dynamic angle,best quality

05. 泳池

Asia girl, 1girl,long hair,half body leaking out of the water,water droplets,close-up,high-definition photography,close-projection,8K,details, best quality