AIGCer的博客

解决的问题：当前基于指令的图像编辑模型通常依赖于监督微调训练，这导致模型在标注模式上过拟合，限制了它们在训练分布之外的探索和泛化能力。此外，编辑指令和任务的多样性使得缺乏通用的奖励模型。提出的方案：引入Edit-R1框架，该框架基于策略优化，结合了扩散负面感知微调（DiffusionNFT）和多模态大语言模型（MLLM），以提供免训练的奖励机制，帮助解决模型在不同指令环境下的泛化问题。应用的技术。

IF-Edit 给我们提供了一个全新的视角：图像编辑不仅仅是 Image-to-Image 的翻译，更可以是 Image-to-Video-to-Image 的世界模拟。通过复用强大的视频生成模型，我们无需收集昂贵的成对编辑数据，就能实现懂物理、懂因果的 Zero-Shot 图像编辑。随着视频模型（如 Sora, Wan, HunyuanVideo）的不断进化，这种“降维打击”式的修图方法或许会成为未来的主流。

EditThinker，使图像编辑模型能够在编辑时“思考”，解决了现有单轮方法中由于固有的随机性和缺乏深思熟虑而导致的指令遵循能力有限的问题。本文的框架通过模拟迭代的“批判-改进-重复”循环来模仿人类的认知过程，从而实现自我纠正的图像编辑。通过将 EditThinker 训练为一个统一的多模态大语言模型 (MLLM)，它能够联合生成批判分数、详细推理过程和改进后的指令。

摘要 iMontage提出了一种统一的多对多图像生成框架，能够处理可变数量的输入/输出帧，弥合了视频生成与高动态图像生成之间的鸿沟。该模型基于预训练视频骨干网络，通过低侵入式适配策略和任务无关的时序多样化数据管道，结合多任务训练范式，实现了跨异构任务的强大泛化能力。实验表明，iMontage在图像编辑、多条件生成、多视图合成等任务中性能卓越，部分效果媲美商业模型。其核心创新包括：1）混合多模态扩散Transformer架构；2）可分离时间RoPE的位置编码策略；3）分阶段课程训练方案。

本文提出Pro3D-Editor框架，通过渐进式视图编辑范式解决多视图3D编辑中的特征不一致问题。该方法分为三个阶段：主视图采样筛选编辑显著视图，关键视图渲染通过MoVE-LoRA实现跨视图一致性编辑，全局视图细化完成3D物体迭代优化。实验表明，Pro3D-Editor在编辑质量（LPIPS提升47.4%）和准确性（DINO-I提升9.7%）上显著优于基线方法，支持精准的局部编辑。代码及项目已开源。

UniGen-1.5创新性地构建了统一多模态大模型，通过共享奖励模型的强化学习框架协同优化图像生成与编辑任务。研究采用Qwen2.5-7B为基础架构，集成离散视觉分词器MAGViTv2和连续视觉编码器SigLIP2，实现384×384分辨率的图像处理。关键创新包括：1）编辑指令对齐机制提升指令理解能力；2）统一强化学习策略联合优化双任务；3）共享奖励模型设计。实验表明，该模型在GenEval（0.89）、DPG-Bench（86.83）和ImgEdit（4.31）等基准测试中均达到领先水平。

InstructX是一个创新的多模态框架，通过深度融合多模态大语言模型(MLLM)与扩散模型，实现了图像和视频编辑任务的统一处理。该研究系统分析了MLLM与扩散模型的集成方案，提出采用可学习查询、MLLM LoRA和MLP连接器的组合设计，显著提升了模型收敛速度和编辑性能。通过混合图像-视频训练策略，InstructX仅用图像数据就实现了零样本视频编辑能力，突破了高质量视频数据稀缺的限制。实验表明，该方法在图像和视频编辑任务中均达到SOTA水平，性能可媲美部分闭源商业系统。

LucidFlux-14B是首个开源通用图像修复大模型，采用Diffusion Transformer架构，在多个任务上超越商业模型。它创新性地设计了双分支调控器（DBC）和时序层级自适应调制（TLCM），通过轻量复原代理和退化图像互补提升细节恢复能力，并采用SigLIP代替文本caption实现语义对齐。配合34.2万张严格筛选的高质量训练数据，模型在视觉质量和指标上全面领先。实验显示，LucidFlux在细节恢复和语义一致性上显著优于主流开源和商业方案，为图像修复提供了新范式。

摘要： DreamOmni2提出了基于多模态指令的图像编辑和生成新任务，支持文本与图像指令结合，涵盖具体物体和抽象概念。通过三阶段数据合成流程，构建了高质量训练数据集。框架创新包括索引编码与位置编码偏移方案，以处理多参考图像输入，并通过联合视觉语言模型（VLM）增强复杂指令理解能力。实验表明，DreamOmni2在真实场景中优于现有开源模型，性能接近商业方案（如GPT-4o），尤其在抽象属性生成和编辑一致性上表现突出。

本文提出DescriptiveEdit框架，创新性地采用描述(description)而非指令(instruction)引导图像编辑。通过AttentionBridge实现参考图控制，结合零初始化线性层自适应融合特征，有效解决传统方法在结构保真与语义编辑间的冲突。实验表明，该方法在EmuEdit测试集上多项指标领先，支持全局/局部编辑，且兼容ControlNet等扩展模型。核心突破在于：1)摆脱指令数据依赖，直接利用T2I模型能力；2)通过双系数调节实现编辑幅度灵活控制；3)保持原始架构兼容性。

摘要： Inpaint4Drag提出了一种基于拖动的图像编辑框架，通过双向扭曲算法和图像修复分离实现高效高精度编辑。该方法将图像区域视为弹性材料，结合前向扭曲（定义初始变形）与后向映射（填补间隙），生成密集像素对应关系，支持实时预览（0.01秒）。用户通过控制点和掩码指定变形区域，可选SAM掩码细化模块提升边界精度。修复阶段兼容任意修复模型（如Stable Diffusion），处理显露区域。实验表明，其在DragBench基准上较现有方法快14-600倍，MD误差降低至3.6，内存占用仅2.7GB。

NextStep-1：连续图像流匹配自回归架构的突破 本文提出NextStep-1，一种创新的自回归模型，通过轻量级流匹配头（157M参数）实现高质量patch-by-patch图像生成，摆脱传统扩散模型依赖。核心创新包括： 统一多模态框架：结合14B参数的自回归主干，同时处理离散文本和连续图像token，避免量化损失。 高维隐空间稳定技术：通过通道归一化与随机扰动tokenizer设计，支持16通道稳定训练，消除伪影。

摘要： 本文提出LoongX框架，利用多模态神经信号（EEG、fNIRS、PPG、动作及语音）驱动免手图像编辑，解决了传统文本提示的交互局限。通过跨尺度状态空间（CS3）编码器和动态门控融合（DGF）模块，LoongX高效提取并融合多模态特征，结合扩散模型（DiT）实现语义对齐。

精度与效率的权衡问题现有基于微调的方法（Fine-tuning）需要大量计算资源和数据集，效率低。免训练方法（Training-free）在指令理解和编辑质量上表现不佳，精度不足。指令理解与编辑质量不足免训练方法难以准确解析复杂指令，导致编辑效果不理想。微调方法依赖大规模数据训练（如 450K~10M 样本），计算成本高。初始噪声选择影响编辑质量不同的初始噪声会导致不同的编辑效果，如何优化噪声选择以提高输出质量是关键挑战。

任务局限性：现有方法仅针对特定任务（如人物插入、服装插入），缺乏通用性。控制模式单一：依赖固定控制方式（仅掩码或仅文本引导），灵活性不足。视觉-参考不协调：插入内容与目标场景风格不一致，或丢失参考图像的细节特征。

身份保持与编辑灵活性的固有矛盾：现有方法在生成模型中难以同时实现高保真身份保持和多样化个性化编辑，通常需要在两者之间做出权衡。跨模态对齐不足：传统零样本方法依赖视觉-语言对齐模块（如Q-former），导致图像生成任务中视觉与文本信息未能有效协同，影响身份保持和编辑效果。控制粒度不足：现有方法通过单一参数调整身份保持强度时，往往产生突变效果，缺乏连续、精细的控制能力。

文本引导图像编辑任务面临的关键挑战是精确定位和编辑目标语义，而以往的方法在这方面存在不足。

解决的问题跨图像一致性编辑是计算机视觉和图像处理领域中的重要挑战，尤其是面对多样的姿态、光照条件和拍摄环境时。这种一致性编辑广泛应用于产品展示、个性化内容创作以及主题活动等场景。然而，现有方法在处理多图像一致性时常表现出不稳定性或失真，难以满足实际需求。提出的方案本文提出了一种基于扩散模型的训练无关解决方案Edicho。其核心设计理念是通过显式图像对应性引导编辑过程，避免传统隐式对应性方法的局限性。注意力操作模块：增强注意力机制，通过图像之间的对应性引导特征传递。

解决的问题多模态大语言模型（MLLMs）在支持多任务方面缺乏统一性，特别是图像和视频的联合处理能力不足。模型在细粒度像素级理解上存在局限，无法实现高精度的视觉区域定位与编辑。视觉功能单一，难以支持从视觉理解到生成、分割、编辑等全方位任务。多任务间存在协作性不足，任务间可能互相影响，难以实现统一优化。**提出的方案 **统一架构设计：VITRON 采用基于 LLM 的框架，前端集成图像、视频和像素级区域视觉编码器，后端结合最先进的图像与视频模块，支持视觉理解、生成、分割和编辑等多任务。

解决的问题当前基于扩散模型的图像编辑方法存在两大问题：基于反演（inversion）的方法在进行大幅度修改（如添加或移除物体）时效果较差，原因在于反演噪声的结构性限制了编辑的灵活性。基于指令（instruction）的方法通常采用黑箱操作，限制了用户直接指定编辑区域和强度的能力。提出的方案提出了一种新的图像编辑范式BrushEdit，基于图像修复（inpainting）和指令引导，结合多模态大语言模型（MLLMs）和双分支图像修复模型，构建了一个代理协作框架，实现：编辑类别分类。

文生图遇到了一些挑战：将这些模型适应到下游应用通常需要以不同的方式集成各种插件（如ControlNet和IP-adapter），或扩展输入通道（例如，SD-inpainting 、InstructP2P）。这种对专门化框架的依赖限制了多任务泛化能力，并增加了部署的复杂性。高质量和准确的编辑数据难以获得，包括基于指令的编辑、拖拽编辑和主题驱动的生成数据。

现有模型难以准确执行复杂的用户指令：由于训练数据质量较低且编辑类型有限，现有的指令驱动的图像编辑模型在处理复杂用户指令时存在困难。缺乏高质量的指令编辑数据集：现有的编辑数据集数据质量不足，且难以支持基于多模态感知和复杂指令的图像编辑任务，如空间构图、视角变化和常识理解等。当前数据集在多种输入格式和编辑需求上的适应性差：现有数据集缺乏对不同编辑任务的适配，导致编辑结果质量差，且生成的图像常存在低分辨率、高噪声或与文本不对齐的问题。

解决的问题现有的基于UNet的高分辨率图像编辑方法在实现形状感知的对象编辑方面仍存在不足。相比之下，Diffusion Transformers (DiT) 能更有效地捕捉图像块之间的长程依赖关系，但目前在图像编辑领域的应用仍较少。提出的方案本文提出了基于Diffusion Transformers的首个图像编辑框架——DiT4Edit。DiT4Edit采用DPM-Solver反演算法来获取反演隐变量，与传统UNet框架常用的DDIM反演算法相比，显著减少了迭代步数。

解决的问题离散扩散模型虽然在图像生成和mask语言建模等任务中取得了成功，但在精确控制内容编辑方面存在局限性。当前方法无法实现对离散数据的灵活编辑和准确重构。提出的方案提出了DICE（可控编辑的离散反演），这是首个针对离散扩散模型（包括多项扩散和mask生成模型）的精确反演方法。DICE通过记录在反向扩散过程中的噪声序列和mask模式，实现了无需预定义mask或注意力操作的精确重构和灵活编辑。应用的技术。

如何利用去噪扩散模型进行高质量的图像生成和编辑。系统地分类和评估扩散模型在图像编辑中的应用。

是图像分割领域中的一个强大基础模型，旨在通过基本的可提示分割任务，利用提示工程来统一各种分割任务。该项目的一个显著贡献是 SA-1B 数据集，该数据集包含来自 1100 万张经过许可和隐私保护的图像生成的超过 10 亿个masks。在如此丰富和高质量的数据上进行训练，SAM 展现出强大的鲁棒性和泛化能力。SAM 的巨大潜力迅速引起了研究人员对探索其在广泛现实应用中的能力以及改进其架构以实现更高效或更准确分割的兴趣。最近，被提出作为继任者，专注于高效的可提示视觉分割 (PVS)，适用于图像和视频。

文章链接：https://arxiv.org/pdf/2409.12960项目链接：https://luckyhzt.github.io/lvcd。

解决的问题单一U-Net在所有去噪步骤中对齐文本提示和视觉对象不足以生成期望的对象。扩散模型的复杂采样空间中无法保证对对象生成的可控性。提出的方案语义预修复：在多模态特征空间中推理目标对象的语义特征。高保真度的对象生成：在扩散的潜在空间中基于已修复的语义特征生成目标对象。应用的技术采用级联的Transformer语义修复器与目标修复扩散模型，提出了新型的Cascaded Transformer-Diffusion（CAT-Diffusion）框架。

图像生成、操作和转换的复杂性，特别是基于自由形式语言指令的多种视觉任务。

解决的问题单一U-Net在所有去噪步骤中对齐文本提示和视觉对象不足以生成期望的对象。扩散模型的复杂采样空间中无法保证对对象生成的可控性。提出的方案语义预修复：在多模态特征空间中推理目标对象的语义特征。高保真度的对象生成：在扩散的潜在空间中基于已修复的语义特征生成目标对象。应用的技术采用级联的Transformer语义修复器与目标修复扩散模型，提出了新型的Cascaded Transformer-Diffusion（CAT-Diffusion）框架。

文章链接：https://arxiv.org/pdf/2408.00106git链接：https://github.com/xdxie/WAS_WordArt-Segmentation提出了艺术文本分割这一新任务，并构建了一个真实数据集用于模型性能基准测试。设计了训练数据合成策略，生成了包含10万对图像-mask 的合成数据集。引入了逐层动量查询机制和骨架辅助头，以应对局部笔画的变化和全局结构的复杂性。在艺术文本分割和场景文本分割任务中取得了最先进(SOTA)的成果，并简化了文本分割的实验范式。

论文链接： https://arxiv.org/pdf/2408.08332git地址：https://betterze.github.io/TurboEdit/提出一个反演网络，该网络通过预测噪声来重建输入图像，并被训练为在前一步重建的条件下迭代地校正重建图像。对扩散蒸馏过程的一种新兴特性进行分析。方法在反演过程中只需要 8 次功能评估（一次性成本），每次编辑只需 4 次功能评估，而基于多步扩散模型的方法在反演中需要 50 次功能评估，每次编辑需要 30-50 次功能评估。