AIGCer的博客

LucidFlux-14B是首个开源通用图像修复大模型，采用Diffusion Transformer架构，在多个任务上超越商业模型。它创新性地设计了双分支调控器（DBC）和时序层级自适应调制（TLCM），通过轻量复原代理和退化图像互补提升细节恢复能力，并采用SigLIP代替文本caption实现语义对齐。配合34.2万张严格筛选的高质量训练数据，模型在视觉质量和指标上全面领先。实验显示，LucidFlux在细节恢复和语义一致性上显著优于主流开源和商业方案，为图像修复提供了新范式。

解决的问题当前基于扩散模型的图像编辑方法存在两大问题：基于反演（inversion）的方法在进行大幅度修改（如添加或移除物体）时效果较差，原因在于反演噪声的结构性限制了编辑的灵活性。基于指令（instruction）的方法通常采用黑箱操作，限制了用户直接指定编辑区域和强度的能力。提出的方案提出了一种新的图像编辑范式BrushEdit，基于图像修复（inpainting）和指令引导，结合多模态大语言模型（MLLMs）和双分支图像修复模型，构建了一个代理协作框架，实现：编辑类别分类。

解决的问题单一U-Net在所有去噪步骤中对齐文本提示和视觉对象不足以生成期望的对象。扩散模型的复杂采样空间中无法保证对对象生成的可控性。提出的方案语义预修复：在多模态特征空间中推理目标对象的语义特征。高保真度的对象生成：在扩散的潜在空间中基于已修复的语义特征生成目标对象。应用的技术采用级联的Transformer语义修复器与目标修复扩散模型，提出了新型的Cascaded Transformer-Diffusion（CAT-Diffusion）框架。