ComfyUI-SUPIR项目中VAE选择与模型合并的技术解析
关于SDXL默认VAE的水印问题
在ComfyUI-SUPIR项目使用过程中，开发者发现SDXL默认的VAE（变分自编码器）存在一个显著问题——它会自动添加不可见水印。这种水印虽然肉眼不可见，但会对图像处理流程产生潜在影响，特别是在需要高质量输出的场景下。
Juggernaut模型合并时的白点问题
另一个常见问题出现在将Juggernaut v9与其他模型合并时。由于Juggernaut v9内置了特定的VAE，这种合并操作会导致生成图像中出现白色球状伪影。这种现象在模型融合过程中相当常见，主要是因为不同VAE之间的兼容性问题。
解决方案探索
推荐的VAE替代方案
经过测试，使用fp16格式的VAE修复版本可以有效地解决上述问题。这种优化后的VAE不仅避免了水印问题，还能显著提升dreambooth训练模型在超分辨率任务中的表现，特别是在处理混合了模糊和清晰照片的数据集时，能够更好地保留主体特征的相似度。
模型合并的实用技巧
对于需要合并模型的情况，可以采用以下技术方案：
- 通过检查点合并功能加载主模型
- 将混合乘数设置为0
- 选择"无插值"作为插值方法
- 启用"必要时保存为float16"选项
- 在"嵌入VAE"选项中选择"无"或指定fp16 VAE修复版本
- 执行合并操作
这种方法能够有效避免因VAE冲突导致的各种图像质量问题。
ComfyUI模型加载器的优化
项目开发者最终实现了一个更为简洁的解决方案——直接使用ComfyUI模型加载器。这种方法不仅操作简单，而且能够更灵活地控制VAE的选择，从根本上解决了VAE相关的水印和兼容性问题。用户现在可以在界面中直观地选择适合自己需求的VAE版本，无需复杂的合并操作即可获得理想的输出质量。
这一改进显著提升了ComfyUI-SUPIR在图像超分辨率任务中的稳定性和输出质量，为使用者提供了更加可靠的工作流程。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
