AIGCer的博客

解决的问题当前基于扩散模型的图像编辑方法存在两大问题：基于反演（inversion）的方法在进行大幅度修改（如添加或移除物体）时效果较差，原因在于反演噪声的结构性限制了编辑的灵活性。基于指令（instruction）的方法通常采用黑箱操作，限制了用户直接指定编辑区域和强度的能力。提出的方案提出了一种新的图像编辑范式BrushEdit，基于图像修复（inpainting）和指令引导，结合多模态大语言模型（MLLMs）和双分支图像修复模型，构建了一个代理协作框架，实现：编辑类别分类。

解决的问题单一U-Net在所有去噪步骤中对齐文本提示和视觉对象不足以生成期望的对象。扩散模型的复杂采样空间中无法保证对对象生成的可控性。提出的方案语义预修复：在多模态特征空间中推理目标对象的语义特征。高保真度的对象生成：在扩散的潜在空间中基于已修复的语义特征生成目标对象。应用的技术采用级联的Transformer语义修复器与目标修复扩散模型，提出了新型的Cascaded Transformer-Diffusion（CAT-Diffusion）框架。